データ要求・収集・利用条件｜データ品質・基盤・管理

このページはプロモーション（広告）を含みます。

データ品質・基盤・管理 ／ 6授業

このモジュールでは、分析を始める前に、「どの判断のために、どんなデータを、どこから、どの条件で集めてよいか」を決める力を身につけます。分析の失敗の多くは計算の段階ではなく、必要な項目がない、定義が部署ごとに違う、集め方が偏っている、使ってはいけないデータが混ざっている、といった収集の段階で起きています。

6つの授業は次の流れで進みます。

1. 必要な問いとデータ 判断から逆算して、必要なデータ（1件の単位・項目・期間・鮮度・精度）を要求表にまとめる
2. 測定単位と定義 項目の単位・基準・操作的定義をそろえ、測っている量と知りたい量のずれに気づく
3. 収集方法とバイアス 集め方が生む偏り（選択・非回答・生存者・打ち切り）を見分け、重み付けなどで補う
4. 出所と利用条件 出所と利用条件を台帳にし、データ×用途ごとに利用可・保留・利用不可を判定する
5. データ辞書 データ辞書を作り、そこから品質規則を作って異常（再送・遅延・型変更）を検出する
6. 不足と追加収集 不足を一覧にし、方法を比べ、必要期間を計算して収集計画を立てる

つまずきやすいのは、「手元にある＝使ってよい」と考えること、0と欠損を混同すること、データを増やせば偏りも消えると考えることです。DS・ML・DX・RSのどの仕事でも、データ要求表・利用条件台帳・データ辞書・収集計画は、そのまま実務の成果物になります。修了後は 欠損・重複・異常・品質検証（有料版） で、集めたデータの欠損・重複・異常を検査する方法に進みます。

到達目標

• 業務の判断から逆算して、1件の単位・項目と理由・期間・鮮度・精度を含むデータ要求表を書ける
• 項目の単位・基準・欠損の意味をそろえ、測定のずれ（販売数と需要など）を指摘できる
• データの取得条件を読み、代表性と偏りの種類を判断し、重み付けなどの対策を選べる
• 出所・責任者・利用条件を確認し、目的外利用の恐れがあるデータや権利不明のデータを保留・除外できる
• データ辞書と品質規則を作り、不足を埋める収集計画（責任者・根拠・品質確認・中止条件を含む）を立てられる

授業

• 必要な問いとデータ　55分
• 測定単位と定義　60分
• 収集方法とバイアス　60分
• 出所と利用条件　65分
• データ辞書　70分
• 不足と追加収集　70分

アプリでは、各授業の確認問題・SQLとPythonの演習・総合テストと課題に取り組めます。