機械学習の問題設定と評価分割｜機械学習・深層学習・LLM

このページはプロモーション（広告）を含みます。

機械学習・深層学習・LLM ／ 6授業

このモジュールでは、機械学習のモデルを作る前に決めるべきこと、つまり「何を・いつ・誰について予測し、どのデータで評価するか」を定義できるようになります。モデルの種類を選ぶよりも、問題設定と評価の分け方を誤るほうが、実務では大きな損失につながります。評価が甘いと、導入後に「検証では良かったのに本番では当たらない」ことになり、施策の予算や信頼を失うからです。

6授業の流れは次のとおりです。教師あり・なし・強化学習 で教師あり・教師なし・強化学習を見分け、目的変数と利用時点 で目的変数と予測時点（その時点で使える情報）を定義します。ベースライン では、モデルの価値を測るものさしとしてベースラインを置きます。訓練・検証・テスト で訓練・検証・テストの役割を整理し、時点・個体・群の分離 で時点・個体・群に沿った分け方を道具で作ります。最後に 漏洩の検出 で、未来特徴・同一個体・前処理・テストの反復利用による漏洩を見つけます。

つまずきやすいのは、①1人に複数行ある表を行で無作為に分けること、②予測時点の後に確定する列（解約理由・返金額など）を特徴量に入れること、③テストを何度も見て選ぶこと、④基準と比べずに正解率の高さを喜ぶこと、の4つです。どれも評価の数字を高く見せるので、自分では気づきにくいのが特徴です。

修了後は、評価指標と誤りの費用、交差検証を使ったモデル選択、各種のモデルへ進みます。どのモデルを学ぶときも、このモジュールで作る「単純な基準・分割ID・訓練内の前処理・テストの使用回数」を必ず添えてください。

到達目標

• 業務の依頼を、教師あり（回帰・分類）・教師なし・強化学習のどれかに分類し、その理由を説明できる
• 対象母集団・予測時点・観測窓・ラベル窓・目的変数を定め、予測時点で手に入る特徴量だけを選べる
• 何もしない予測や単純な規則をベースラインとして作り、モデルと同じデータ・同じ指標で比べられる
• 本番の状況に合わせて、時点・個体・群の単位で訓練・検証・テストを分け、重なりと期間を示せる
• 未来特徴・同一個体・前処理の漏洩・テストの反復利用・基準なしを、データと実験記録から検出できる

授業

• 教師あり・なし・強化学習　55分
• 目的変数と利用時点　65分
• ベースライン　65分
• 訓練・検証・テスト　70分
• 時点・個体・群の分離　70分
• 漏洩の検出　70分

アプリでは、各授業の確認問題・SQLとPythonの演習・総合テストと課題に取り組めます。