不足と追加収集｜データ要求・収集・利用条件

このページはプロモーション（広告）を含みます。

データ要求・収集・利用条件（中級・読む30分＋演習40分）

この授業のゴール

• データ要求表とデータ辞書を照らし合わせ、不足（項目・期間・粒度・対象範囲・品質・権利）を一覧にできる
• 不足を埋める方法を、費用・期間・リスク・利用条件で比べて選べる。埋めなくてよい不足を見分けられる
• 必要な記録の件数と発生の頻度・回答率から、収集の期間や依頼数を逆算できる
• 責任者・利用条件と同意等の根拠・品質確認・中止条件を含む収集計画を書ける

仕事でどう使うか

必要なデータが最初から全部そろっていることは、ほとんどありません。足りないとわかったときに、何を、どの方法で、どれだけの期間で集めるかを計画できるかどうかで、プロジェクトの成否が決まります。

前提

この授業は DA01 のまとめです。次の内容をすべて使います。

• 判断・問い・データ要求表 → 必要な問いとデータ
• 単位と定義 → 測定単位と定義
• 集め方の偏り → 収集方法とバイアス
• 出所と利用条件、保留 → 出所と利用条件
• データ辞書と品質規則 → データ辞書

計算は割り算と切り上げだけです。Python では math.ceil（小数を切り上げて整数にする関数）を使います。

身近な状況：要求表と手元のデータを並べたら、穴だらけだった

みどり商店の需要予測プロジェクトで、L01で作ったデータ要求表と、実際に受け取ったデータのデータ辞書を並べてみました。

プロジェクトの責任者は「全部そろうまで待つのか」と不安になりました。しかし、すべての穴を同じように埋める必要はありません。

• 判断に必須の不足（品切れ時刻・納品日数）は、優先して埋める。
• 代わりの方法がある不足（天気）は、利用条件を満たす別の出所に替える。
• 判断に必要でないもの（位置情報）は、集めないと決める。

この授業では、不足を一覧にし、埋める方法を比べ、収集の計画を立てる方法を学びます。

直感的な説明：旅行の荷造りで足りない物をどうするか

旅行の前に持ち物リストと手元の荷物を見比べると、足りない物が見つかります。対処にはいくつかの方法があります。

データの不足も同じ考え方で整理できます。大切なのは、足りない物ごとに「なくて困るのか」「どの方法が一番安く確実か」を決めることです。全部を買いそろえる（全部を新しく集める）のは、費用も時間もかかりすぎます。

もう1つの直感は、「集め始めてから使えるまでに時間がかかる」ことです。今日から品切れ時刻の記録を始めても、季節の違いを学べるだけの記録がたまるのは何か月も先です。だから、必要な期間を先に計算し、判断の時期と合わせて計画します。

正確な定義：ギャップ分析・収集方法・収集計画

• ギャップ分析：データ要求表（必要なもの）とデータ辞書（手元にあるもの）を比べ、不足を種類ごとに一覧にすること。
• 収集計画：不足を埋めるために、何を・どの方法で・誰の責任で・いつまでに・どの条件で集めるかを書いた計画。

不足の種類

埋める方法の比較

必要な期間の逆算：必要な記録の件数を $N$（件）、1日あたりに発生する記録の件数を $\lambda$（ラムダ、件/日）とすると、必要な日数 $T$（日）は次のとおりです。

$$T = \frac{N}{\lambda}$$

小数になったら切り上げます。たとえば品切れの記録が $N = 100$ 件必要で、1日あたり $\lambda = 0.8$ 件発生するなら、$T = 100 \div 0.8 = 125$ 日です。

調査の場合は、必要な回答数を $n$（人）、回答率を $r$（0〜1）とすると、依頼する人数 $m$（人）は $m = n \div r$ です。$n = 400$、$r = 0.2$ なら $m = 400 \div 0.2 = 2000$ 人です。ただし、回答率が低いほど非回答バイアスの心配が大きくなることも忘れないでください。

収集計画に書く項目

段階付き例題：みどり商店の不足を埋める計画を立てる

ステップ1（入力：不足の一覧に優先度を付ける）

判断（翌日発注数）への影響で、優先度を付けます。

ステップ2（処理：方法を選ぶ）

ステップ3（処理：必要な期間を計算する）

在庫システムのログがない20商品について、店員の記録を始めるとします。1商品・1日あたりの品切れの起きやすさは、過去の記録から約0.041（731日中30日）でした。

• 1日に期待できる品切れの記録：$20 \times 0.041 = 0.82$ 件
• 100件集めるのに必要な日数：$100 \div 0.82 \approx 121.95$ → 122日（約4か月）

ステップ4（出力と意味）

約4か月後に、品切れ時刻を使った需要推定を始められます。それまでは、品切れ日を除いて学習する暫定版で運用します。この見通しを依頼者に伝え、「4か月後に見直す」という判断の時期を合意します。さらに、記録を始めるのが秋なら、最初の4か月には年末が含まれ、夏が含まれない、という期間の偏りも計画に書いておきます。

操作して理解する：対象を増やすと、必要な期間はどう変わるか

内蔵データ demand.csv から品切れの起きやすさを求め、記録の対象にする商品数を変えたときの必要日数を計算します。

使う関数：d['stockout'].mean() は0/1の列の平均で、「1の割合」（品切れ日の割合）になります。math.ceil(x) は x 以上の最小の整数を返します（切り上げ）。f'{x:.3f}' は x を小数第3位まで表示する書き方です。

import math
import pandas as pd

d = pd.read_csv('/data/demand.csv')
rate = d['stockout'].mean()          # 1商品・1日あたりの品切れの起きやすさ
print('品切れ日の割合:', round(rate, 4), '（', d['stockout'].sum(), '日 /', len(d), '日）')

need = 100                            # 集めたい品切れの記録の件数
for items in [1, 20, 60]:             # 記録の対象にする商品数
    per_day = rate * items            # 1日に期待できる品切れの件数
    days = math.ceil(need / per_day)  # 必要な日数（切り上げ）
    print(f'{items:>3}商品を対象: 1日あたり {per_day:.3f} 件 → {days} 日')

出力：

品切れ日の割合: 0.041 （ 30 日 / 731 日）
  1商品を対象: 1日あたり 0.041 件 → 2437 日
 20商品を対象: 1日あたり 0.821 件 → 122 日
 60商品を対象: 1日あたり 2.462 件 → 41 日

1商品だけで100件集めるには約6.7年（2437日）かかりますが、60商品を対象にすれば41日で集まります。対象を増やせば期間は短くなる一方、店員の記録の負担は3倍になり、記録漏れが増えるかもしれません。

考えてみましょう。

1. need = 100 を need = 200 にすると、20商品の必要日数はどうなるでしょう。答え：約2倍の244日です。
2. 実際には、品切れは売れ筋の商品に集中します。品切れの多い商品から順に対象を選ぶと、少ない商品数で早く集まります。ただし、売れ筋だけの記録になるので、売れ筋以外の商品の品切れについては結論を出せません（L03の選択バイアス）。
3. 店員の記録が7割しか行われない（記録率0.7）としたら？ 1日あたりの件数に0.7を掛けます。20商品なら $0.82 \times 0.7 = 0.574$ 件/日で、$100 \div 0.574 \approx 174.2$ → 175日になります。記録率は計画の段階で見込んでおき、収集中に確認します。

発展：集める価値の見積もりと、段階的な収集

集める価値と費用：追加収集は、判断が良くなることで得られる価値が、収集の費用を上回るときに行います。たとえば品切れ時刻の記録で、品切れによる売り逃しと廃棄の合計が月30万円減ると見込まれ、記録の負担（店員の作業時間）が月5万円相当なら、収集する価値があります。見込みの数字には幅があるので、悲観的な場合でも価値が上回るかを確認します（費用と便益の比べ方は 「便益と費用」（有料版））。

段階的な収集（試行）：いきなり全店で始めず、1〜2店舗で2〜4週間試し、記録率・入力にかかる時間・品質規則の違反率を確認してから広げます。試行の結果、記録率が低ければ、入力画面の改善やログからの自動取得を検討します。

実験で集める：「販促をすると販売数が何%増えるか」は、過去の記録では販促を実施する商品や日が偏っているので（売れる時期に販促しがち）、正確にわかりません。無作為に販促の有無を割り付ける実験で集めると、偏りの少ないデータが得られます（「実験の問いと割付」（有料版））。

記録の追加で起きる異常系：

• 記録の開始日の前後で、データの意味が変わる（開始前は品切れ時刻が全て欠損）。辞書に記録開始日を書き、欠損の意味を「記録開始前」と区別する。
• 入力の慣れによって、最初の数週間は記録率が低い。最初の期間を分けて評価する。
• 記録することで行動が変わる（品切れを記録させると、店員が早めに補充するようになる）。これ自体は良いことでも、記録前後の比較には注意が必要。

中止・見直しの条件の例：記録率が2週間連続で50%を下回ったら入力方法を見直す。利用条件の確認で問題が見つかったら即時停止し、集めたデータを保留表に移す。

よくある失敗

失敗1：足りないものを全部集めようとする

誤った計画：不足の一覧にある項目を、すべて新しく集める。会員の位置情報も「あれば精度が上がるかも」と収集項目に入れる。

なぜ誤りか：費用と時間がかかり、肝心の品切れ時刻の記録が後回しになります。位置情報は判断に必要がないうえ、利用目的の確認（保留）が済んでおらず、データ最小化にも反します。

直し方：不足ごとに判断への影響で優先度を付け、「集めない」「範囲を限定する」も選択肢に入れます。集めないと決めた項目は、理由とともに計画に書きます。

失敗2：代わりのデータで、黙って置き換える

誤った処理：品切れ時刻がないので、「その日の最後に売れた時刻」を品切れ時刻として使い、そのことを報告に書かなかった。

なぜ誤りか：最後の販売時刻は、品切れ時刻の代わりにはなりません。6/2のように在庫が残っていた日まで「18時に品切れ」と扱われ、需要を高く見積もります。代わりのデータには、知りたい量とのずれ（L02の妥当性）があります。

直し方：代わりのデータを使うときは、(1) 何の代わりか、(2) どの場合にずれるか、(3) ずれの向き、を計画と報告に書きます。この例なら、閉店時在庫が0の日に限って最後の販売時刻を使う、のように条件を付けます。

失敗3：必要な期間を計算せずに収集を始める

誤った計画：「2週間記録すれば十分だろう」と考え、20商品で品切れ時刻の記録を2週間行った。

期待できる件数は $14 \times 0.82 \approx 11.5$ 件です。100件の目標の約1割しか集まらず、2週間後の会議で「データが足りないので判断できない」と報告することになりました。

なぜ誤りか：品切れのように、まれにしか起きない出来事は、集まるのに時間がかかります。期間を計算しないと、判断の時期に間に合いません。

直し方：計画の段階で $T = N \div \lambda$ を計算し、記録率の見込みも掛けます。期間が判断の時期に間に合わない場合は、対象を増やす、既存のログを探す、判断の時期を調整する、のどれかを依頼者と決めます。

失敗4：責任者・根拠・中止条件のない計画

誤った計画：「来月から、店員が品切れ時刻を記録する」とだけ決めて始めた。

起きたこと：

• 誰が記録の漏れを確認するか決めていなかったので、3週目から記録率が30%に落ちたことに、2か月間誰も気づかなかった。
• 顧客アンケートを同時に始めたが、回答の利用目的の説明文を誰が承認したか記録がなく、後で回答を分析に使えるか問題になった。
• 記録をいつやめるか決めていなかったので、分析が終わった後も入力が続き、現場の負担だけが残った。

直し方：収集計画に、収集の実施者・承認者・保管の責任者、利用目的と本人への説明（同意等の根拠）、品質確認の頻度、中止・見直しの条件を書きます。開始前に承認者の確認を得ます。

まとめ

• データ要求表とデータ辞書を比べ、不足を「項目・粒度・期間・対象範囲・品質・権利」に分けて一覧にする。
• 不足ごとに判断への影響で優先度を付け、「既存から作る・借りる・記録を追加・調査・外部取得・実験・集めない」を比べて選ぶ。
• 必要な日数は T＝N÷λ、調査の依頼数は m＝n÷r で逆算する。記録率も見込み、小数は切り上げる。
• 代わりのデータを使うときは、何の代わりか・どこでずれるか・ずれの向きを書く。
• 収集計画には、責任者、利用条件と同意等の根拠、品質確認、保管と削除、中止・見直しの条件を書く。

用語

ギャップ分析（gap analysis）

必要なデータ（要求表）と手元のデータ（辞書）を比べ、不足を種類ごとに一覧にすること。

収集計画（data collection plan）

不足を埋めるために、何を・どの方法で・誰の責任で・いつまでに・どの条件で集めるかを書いた計画。

記録率（recording rate）

実際に起きた出来事のうち、記録された割合。収集に必要な期間の見積もりに使う。

試行（パイロット）（pilot）

本格的に始める前に、小さな範囲で短期間試して、手順や品質を確かめること。

よくある質問

なぜ不足を「一覧」にする必要があるのですか？ 気づいたものから集めればよいのでは？

気づいた順に集めると、集めやすいものから手を付けてしまい、判断に一番必要なもの（品切れ時刻など）が後回しになりがちです。一覧にして判断への影響で優先度を付けると、限られた時間と費用を正しい所に使えます。

「既存データから作る」と「記録を追加する」はどう使い分けますか？

既存データから作れるなら、過去分も使えて安く早いので、まずそちらを検討します。ただし代わりの値は知りたい量とずれることがあるので、ずれが判断に影響する場合は記録の追加を選びます。記録の追加は、過去にさかのぼれないことに注意します。

どこで失敗しやすいですか？

必要な期間の見積もりと、収集開始後の管理です。まれな出来事は集まるのに時間がかかります。また、記録を始めた後に誰も記録率を確認しないと、気づいたときにはデータが使えない状態になっています。

条件が変わって、判断の時期が早まったらどうしますか？

必要な件数・発生頻度・期間の関係（T＝N÷λ）を使って、対象を増やす、既存のログを探す、目標件数を下げて結論の確かさが下がることを明記する、のどれが現実的かを検討し、依頼者に選択肢として示します。

追加収集の価値があるかどうかを、仕事ではどう判断しますか？

追加のデータで判断がどれだけ良くなるか（売り逃しや廃棄がいくら減るか）と、収集の費用（改修費、入力の時間、管理の手間）を比べます。見込みには幅があるので、悲観的な場合でも価値が上回るかを確認し、まず小さく試してから広げます。

新しく記録を始めるとき、本人への説明や同意はいつ必要ですか？

人に関する情報を集める場合、どんな目的で使うかを本人にどう説明するか、同意などの根拠は何かを、収集を始める前に組織の個人情報の担当者と決めます。後から目的を広げるのは難しいので、計画の段階で確認します（同意とデータ取得）。

確認問題

次に学ぶこと

これで DA01 の6授業は終わりです。モジュールの総合テストと、別の業務課題でデータ辞書と収集計画を作る自力課題で、習得を確認してください。

次のモジュール 欠損・重複・異常・品質検証（有料版） では、集めたデータの欠損・重複・異常値を検査し、品質を確かめる方法を学びます。データ辞書の品質規則がそのまま出発点になります。実験でデータを集める方法は 「実験の問いと割付」（有料版）、同意とデータ取得は 同意とデータ取得 で詳しく扱います。