しない判断と中止条件|課題設定・分析計画

このページはプロモーション(広告)を含みます。

課題設定・分析計画(初級・読む30分+演習35分)

この授業のゴール

仕事でどう使うか

分析の担当者は「頼まれたら分析する」と考えがちです。しかし実務では、分析しないこと、途中でやめること、判断を保留することが最善の場合がよくあります。結果がどうであれ判断が変わらない分析や、分析の費用が判断の改善より大きい分析は、組織の時間とお金を減らすだけです。

路線 この授業の使いどころ(成果物・意思決定)
DS(データサイエンティスト) 依頼を受ける前に「その分析で判断が変わるか」を確認し、変わらないなら小さな試行や見送りを提案する
ML(機械学習エンジニア) モデル開発の途中で、精度の目標に届く見込みがない・データが足りないと分かった時点で、事前に決めた条件で開発を止めるか方針を変える
DX(DX推進・AI企画) 実証実験(PoC:Proof of Concept、概念実証)に中止条件を入れ、「やめる判断」を失敗ではなく計画どおりの結果にする
RS(研究者) 研究計画に中止・変更の条件を書き、仮説が支持されなかった結果も報告する(都合の良い結果だけを出さない)

この授業はAN01の締めくくりです。L05の計画書の「判断できないこと」と合わせて、分析の限界を計画と報告に書き込む練習をします。

前提

次の内容を使います。

期待値という言葉を使います。結果が確率的に分かれるとき、「各結果の値×その確率」を足したものです。例えば、確率0.5で1万円得て、確率0.5で0円なら、期待値は $0.5 \times 10{,}000 + 0.5 \times 0 = 5{,}000$ 円です。確率と期待値の基礎は 確率・条件付き確率・独立(有料版)・「期待値と分散」(有料版) で扱います。

身近な状況:「念のため分析しておいて」の費用

さくら雑貨の本部で、次の3つの依頼がデータ担当のCさんに届きました。

  1. 店長「来月のチラシ、配るかどうか判断したいので分析して。ただ、本部からの指示でどちらにしても今月は配ることが決まっているんだけど」
  2. エリア担当「新しいレジ袋の色を変えたら売上が上がったか調べて。費用は1店舗500円だった」
  3. 商品部「来年の新店舗の立地候補3か所を比べて。投資額は数千万円規模」

Cさんの作業時間は限られています。3つとも同じ熱量で取り組むべきでしょうか。

分析にも費用がかかります。担当者の時間、データ取得の手続き、関係者の確認、そして判断の遅れです。この授業では、分析の価値と費用を比べて、分析する・しない・途中でやめる・保留する、を選べるようにします。

直感的な説明:天気予報にいくら払うか

明日のピクニックを行うか迷っているとします。正確な天気予報が分かるなら、雨の日は中止し、晴れの日だけ行けます。では、その予報にいくらまで払う価値があるでしょうか。

分析も同じです。分析の価値は、分析によって判断が変わり、その結果として得をする(損を避ける)分だけです。結果を見る前から「どちらにしても同じ行動」なら、価値はゼロです。

また、始めた分析を途中でやめることも、正しい判断になり得ます。例えば、比較に使う予定だった店舗にも工事があり、比較が成り立たないと分かったら、そのまま続けても信頼できる結論は出ません。ここで「もう3日使ったから最後まで」と考えるのは、取り戻せない過去の費用(埋没費用)にとらわれた考え方です。やめるかどうかは、これからかかる費用と、これから得られる価値で決めます。

正確な定義:分析しない判断の基準、情報の価値、中止条件

分析しない判断(または見送り)が妥当なのは、主に次の場合です。

基準 確認する問い 代わりの行動の例
判断が変わらない 判断表のどの行でも行動が同じではないか 実行し、次の判断のために記録を設計する
費用が見合わない 分析の費用が、判断の改善で得られる価値を上回らないか 小さく試して結果を見る
期限に間に合わない 判断の期限までに答えが出るか 暫定判断と見直し時期を決める
データで答えられない 比較群・必要な期間・必要な項目があるか 追加取得、実験の設計、判断保留
利用条件・倫理 必要なデータの利用が目的や規程の範囲内か 集計値で代替、承認を得る、実施しない

完全情報の価値(EVPI:Expected Value of Perfect Information)は、「結果が確実に分かるなら、どれだけ得をするか」の期待値で、どんな分析にも払ってよい費用の上限の目安になります。記号を定義します。

情報がない場合は、期待値の大きい方を選ぶので、そのときの期待値は $\max\big(pG + (1-p)B,\ 0\big)$ です。完全な情報があれば、効くときだけ実行し、効かないときは現状維持を選べるので、期待値は $pG + (1-p) \times 0 = pG$ です($G > 0 > B$ の場合)。差が完全情報の価値です。

$$\text{EVPI} = pG - \max\big(pG + (1-p)B,\ 0\big)$$

チラシの例で、$p = 0.4$、$G = 50{,}000$ 円、$B = -20{,}000$ 円とすると、

現実の分析は完全ではないので、分析の価値はこの12,000円より小さくなります。もし分析に担当者の2日分(例えば人件費40,000円)がかかるなら、このチラシ1回の判断のためだけに分析するのは見合いません。小さく試す、来月以降の判断にも使える記録を設計する、などを考えます。

中止条件(stop condition)とは、分析を途中でやめる・方針を変える条件を、分析の前に決めたものです。例:「3日目の正午までに比較店舗のデータが届かなければ、仮説Cは扱わず暫定報告に切り替える」「休業日以外で欠損が20%を超えたら、比較は行わず品質の報告に切り替える」「判断が先に下された場合は、作業を止めて記録の設計に移る」。

判断保留とは、「今ある証拠ではどの選択肢を選ぶべきか決められない」と報告し、決めるのに必要な証拠・その費用・期限を示すことです。これは分析の失敗ではなく、正しい結果の1つです。

段階付き例題:分析するか、どこでやめるかを決める

入力:駅前店の店長の判断「来月チラシ(費用30,000円)を配るか」。L02〜L05の計画。過去の経験から、チラシが効く(来店が375人以上増える)確率は約0.4と見積もった。効けば利益+50,000円、効かなければ−20,000円。分析の費用は担当者2日分で約40,000円と見積もった。

ステップ1:判断が変わるかを確認する。判断表では、結果によって「配る」「配らない」「1地区で試す」と行動が変わります。判断が変わらない分析ではありません。

ステップ2:情報の価値と費用を比べる。EVPIは12,000円で、分析費用40,000円を下回ります。チラシ1回の判断だけを見ると、分析は見合いません。

ステップ3:判断の範囲を広げて見直す。ただし、工事は3か月続き、その間毎月チラシを判断します。3か月分の判断に同じ分析が使えるなら、EVPIの合計は約 $12{,}000 \times 3 = 36{,}000$ 円です(毎月同じ条件と仮定)。また、他の3店舗でも工事が予定されているなら、さらに価値が増えます。範囲を広げると、分析が見合う可能性があります。

ステップ4:より安い代わりの手段を考える。分析の代わりに、来月、商圏の4地区のうち2地区だけにチラシを配り(費用15,000円)、地区ごとの来店を比べる方法もあります。小さく試すことで、判断と証拠集めを同時に進められます。

ステップ5:中止条件を書く。分析を行う場合も、次を計画書に入れます。

中止条件 そのときの行動
3日目正午までに比較店舗のデータが届かない 仮説Cを外し、駅前店内の比較だけで暫定報告
比較店舗でも工事があったと判明 比較を中止し、2地区での試験配布を提案
本部が全店一律のチラシ配布を決定 分析を止め、配布の効果を測る記録の設計に切り替える

出力:「チラシ1回の判断だけなら分析は見合わない(EVPI 12,000円<費用40,000円)。工事期間3か月と他店の判断にも使うなら検討の価値がある。最も費用対効果が高いのは、2地区での試験配布で判断と証拠集めを同時に行うこと。」

意味:「分析しない」「小さく試す」という提案は、依頼を断ることではなく、依頼者の判断をより安く良くする提案です。

操作して理解する:確率が変わると、情報の価値はどう変わるか

次のコードは、施策が効く確率 p を変えながら、情報がない場合の期待値と、完全情報の価値(EVPI)を計算します。

G, B = 50000, -20000   # 効いたとき / 効かなかったときの利益(円)

def evpi(p, G, B):
    # p: 効く確率(0〜1)。戻り値: (情報なしで選ぶ案の期待値, EVPI)
    ev_do = p * G + (1 - p) * B      # 実行した場合の期待値
    best_without = max(ev_do, 0)     # 現状維持(0円)と比べて良い方を選ぶ
    with_info = p * G                # 効くときだけ実行できる
    return best_without, with_info - best_without

for p in [0.1, 0.2, 0.3, 0.4, 0.6, 0.8]:
    best, value = evpi(p, G, B)
    choice = "実行" if p * G + (1 - p) * B > 0 else "現状維持"
    print(f"p={p:.1f}: 情報なしの選択={choice:4s} 期待値={best:>7,.0f}円  EVPI={value:>7,.0f}円")

出力:

p=0.1: 情報なしの選択=現状維持 期待値=      0円  EVPI=  5,000円
p=0.2: 情報なしの選択=現状維持 期待値=      0円  EVPI= 10,000円
p=0.3: 情報なしの選択=実行   期待値=  1,000円  EVPI= 14,000円
p=0.4: 情報なしの選択=実行   期待値=  8,000円  EVPI= 12,000円
p=0.6: 情報なしの選択=実行   期待値= 22,000円  EVPI=  8,000円
p=0.8: 情報なしの選択=実行   期待値= 36,000円  EVPI=  4,000円

読み取れること:

発展:情報の価値の限界と、中止を組織で機能させる工夫

EVPIの限界:確率 $p$ や利益 $G$、$B$ は見積もりであり、それ自体が不確かです。数字を厳密に信じるのではなく、「分析の費用が明らかに大きすぎないか」「判断の金額と分析の手間が釣り合っているか」を確かめる目安として使います。また、EVPIは1回の判断の価値なので、同じ分析が繰り返しの判断や他店舗に使える場合は、価値を合算して考えます(例題のステップ3)。現実の分析は不完全なので、分析で得られる情報の価値はEVPIより小さくなります(不完全情報の価値。A/Bテスト・実験分析(有料版)などで実験の設計とあわせて扱います)。

中止を組織で機能させる:中止条件は、決めていても実際には使われにくいものです。「ここまでやったのだから」「やめると評価が下がる」という心理が働くからです。次の工夫が有効です。

判断が先に下された場合:依頼された分析の途中で、意思決定者が別の情報で判断してしまうことがあります。このとき分析を完成させても、その判断には使われません。作業を止め、「次の同じ判断で使える形」(記録の設計、比較の準備)に切り替えるのが合理的です。

倫理上の理由で実施しない:比較のために一部の顧客にだけ不利益(例:必要なお知らせを送らない)を与える実験や、本人が想定していない個人データの使い方が必要な分析は、価値が大きくても実施しない、または方法を変える判断が必要です(データ利用・法律・権利の読み方で扱います)。

よくある失敗

失敗1:判断が変わらない分析に時間を使う

誤った進め方:「今月は本部の指示でチラシを配ることが決まっている」と聞いたうえで、「配るべきか」の分析を3日かけて完成させた。結論は「配るべきでない可能性が高い」だったが、チラシはすでに配られていた。

なぜ誤りか:判断表を作れば、どの結果でも行動が「配る」で同じだと分かります。この分析の判断への価値はゼロでした。

直し方:依頼を受けたら最初に判断表を作り、「どの結果でも同じ行動」なら、問いを次の判断(来月以降)に向け直します。今月の配布を、配った地区と配らない地区の来店を比べられるように記録を設計する方が、次の判断に役立ちます。

失敗2:埋没費用にとらわれて、成り立たない分析を続ける

誤った進め方:3日かけて準備した比較店舗(公園前店)にも工事があったと4日目に判明。「もう3日使ったから」と比較を続け、「駅前店と公園前店で差がないので、工事の影響はない」と報告した。

なぜ誤りか:比較店舗も工事の影響を受けていれば、差が出ないのは予想どおりで、工事の影響の有無は区別できません。すでに使った3日間(埋没費用)は、続けても取り戻せません。

考え方 判断
使った3日を無駄にしたくない(誤り) 続ける → 誤った結論
これからの費用と価値で考える(正しい) 比較を中止し、別の比較店舗か試験配布を提案

直し方:計画書に「比較店舗でも同じ要因があれば比較を中止」という中止条件を事前に書き、当たったら止めます。中止の報告には「公園前店は比較に使えないと分かった」という発見も書きます。

失敗3:判断保留を報告せず、不十分な証拠で断定する

誤った報告:データが1週間分しかなく、比較群もなかったが、「来店減の原因は工事です。チラシは不要です」と結論を書いた。

なぜ誤りか:証拠が判断に足りないとき、断定すると意思決定者は確かな根拠があると誤解します。外れた場合の損失は、保留した場合より大きくなります。

直し方:判断保留メモとして、次の4点を書きます。

項目 内容
現時点で言えること 工事開始後の1週間、来店者は1日平均約12人少ない
言えないこと 原因が工事か、他の要因かは区別できない(比較群がない)
決めるのに必要な証拠と費用・期限 工事のない店舗の同期間のデータ(申請1日)、または2地区試験配布(15,000円・2週間)
保留中の暫定行動と再開条件 チラシは今月見送り、データが届いた時点で再判断

まとめ

用語

完全情報の価値(EVPI)(Expected Value of Perfect Information)

結果が確実に分かる場合の期待値と、情報なしで最善を選んだ場合の期待値の差。分析に払ってよい費用の上限の目安。

中止条件(stop condition)

分析を途中でやめる・方針を変える条件を、分析の前に決めたもの。当たったときの行動とあわせて書く。

埋没費用(sunk cost)

すでに支払い、どの選択をしても取り戻せない費用。続けるかの判断に含めない。

判断保留(decision deferral)

今ある証拠では選択肢を決められないと報告し、必要な証拠・費用・期限・暫定行動・再開条件を示すこと。

期待値(expected value)

結果が確率的に分かれるとき、各結果の値にその確率を掛けて足したもの。

よくある質問

分析を断るのは、担当者として失礼になりませんか?

断るのではなく、「この判断にはこちらの方が早く安く効きます」と代わりの行動を提案すると考えてください。例えば「分析より2地区で試験配布する方が、2週間で判断と証拠集めが同時にできます」と伝えれば、依頼者の目的に応えたことになります。

確率 p や利益 G、B はどうやって見積もるのですか?

過去の同じ施策の結果、他店の事例、担当者の経験などから、おおまかに見積もります。厳密である必要はありません。「楽観的な値」と「悲観的な値」の両方で計算し、どちらでも分析が見合わない(または見合う)なら、判断は数字の細かさに左右されません。

中止と失敗はどう違いますか?

中止は、事前に決めた条件に当たったので計画どおりにやめることです。失敗は、目的に必要な結果が得られなかったことです。中止条件を事前に決めておけば、比較店舗が使えないと早く分かったこと自体が、無駄な作業を防いだ成果になります。

判断保留が続くと、何も決まらなくなりませんか?

そのため、保留メモには必ず「暫定行動」と「再開条件(いつ・何がそろえば決めるか)」を書きます。保留は無期限の先送りではなく、期限と条件付きの待機です。決められないまま期限が来たら、暫定行動を続けるか、より安全な選択肢を選ぶかを、事前に決めておきます。

分析しないと判断したことは記録すべきですか?

記録すべきです。後で同じ依頼が来たときや、判断の結果を振り返るときに、「なぜ分析しなかったか(判断が変わらない、費用が見合わない等)」が分かると、同じ議論を繰り返さずに済みます。AN01の計画書の「扱わないこと」欄が記録の場所です。

仕事で「分析するか」を素早く判断するコツは?

次の3つを順に確認します。①判断表で、結果によって行動が変わるか。②判断の金額(損得の大きさ)と分析の手間が釣り合っているか。③期限までに答えが出て、データで答えられるか。どれかが「いいえ」なら、小さく試す・記録を設計する・保留する、を検討します。

確認問題

問1 本部の指示で今月のチラシ配布はすでに決まっている。店長から「今月配るべきか分析して」と頼まれた。最も適切な対応はどれか。

  1. ① 3日かけて詳しく分析する
  2. ② 今月の判断は変わらないことを確認し、来月以降の判断のために、今月の配布で比較できる記録の取り方を提案する
  3. ③ 依頼を無視する
  4. ④ 配るべきでないと結論を先に決めて報告する
解答と解説

正解:②

どの結果でも今月の行動は同じなので、今月の分析は判断を変えません。次の判断に役立つ記録の設計に向け直します。

問2 効く確率0.4、効いたとき+50,000円、効かなかったとき−20,000円の施策で、完全情報の価値(EVPI)はいくらか。

  1. ① 8,000円
  2. ② 20,000円
  3. ③ 50,000円
  4. ④ 12,000円
解答と解説

正解:④

情報なしの最善は実行で期待値8,000円、完全情報なら0.4×50,000=20,000円。差の12,000円がEVPIです。

問3 比較店舗にも工事があったと分析4日目に分かった。すでに3日使っている。正しい考え方はどれか。

  1. ① これからの費用と得られる価値で判断し、比較が成り立たないので中止して別の方法を提案する
  2. ② 3日を無駄にしないため、比較を続ける
  3. ③ 結果が出るまで続け、差がなければ工事の影響はないと報告する
  4. ④ 黙って比較店舗を外して結果を報告する
解答と解説

正解:①

使った3日は埋没費用で、続けても取り戻せません。比較が成り立たない分析を続けても、信頼できる結論は出ません。

問4 完全情報の価値(EVPI)が最も大きくなりやすいのはどんなときか。

  1. ① 施策がほぼ確実に効くと分かっているとき
  2. ② 施策がほぼ確実に効かないと分かっているとき
  3. ③ 実行するか現状維持か、最も迷っているとき
  4. ④ 施策の金額が小さいとき
解答と解説

正解:③

結果の見込みが判断の分かれ目に近いほど、情報で判断が変わる可能性が高く、EVPIが大きくなります。

問5 中止条件を決めるタイミングとして正しいのはどれか。

  1. ① 分析を始める前に、依頼者と合意して計画書に書く
  2. ② 分析がうまくいかなくなったときに考える
  3. ③ 報告書を書くときに付け加える
  4. ④ 中止条件は担当者が心の中で決めておけばよい
解答と解説

正解:①

事前に合意して書いておかないと、「ここまでやったから」という心理で中止条件が使われなくなります。

問6 証拠が不十分で、どの選択肢を選ぶべきか決められない。報告として最も適切なのはどれか。

  1. ① 最も可能性が高そうな原因を断定して報告する
  2. ② 「分かりませんでした」とだけ報告する
  3. ③ 報告を出さずに分析を続ける
  4. ④ 言えること・言えないこと・決めるのに必要な証拠と費用・期限・暫定行動と再開条件を書いた判断保留メモを出す
解答と解説

正解:④

判断保留は正しい結果の1つです。次に何をすれば決められるかを添えると、意思決定者が行動できます。

次に学ぶこと

これでAN01の6授業は終わりです。AN01の総合テストと、自力課題(売上減少の調査を仮説と必要データへ分解する)で習得を確認してください。この授業の確認問題だけでは習得とはしません。

次は 探索的分析・異常・仮説(有料版) で、計画した分析を実際のデータで探索し、異常やデータ品質を確かめます。実験で小さく試す方法は A/Bテスト・実験分析(有料版)、分析結果の報告と合意は 分析報告・判断・合意(有料版) で学びます。問いの立て方に戻りたいときは 問題と問い へ。

キャリア学習:データサイエンティスト・機械学習エンジニア・DX推進・研究者を目指す人の学習アプリ。164モジュール・984授業を、ブラウザで動くSQLとPythonの演習で。基礎と各分野の最初のモジュールは無料。全部は2,980円の買い切り。

アプリを無料で開く有料版と無料版の違い