問いと仮説｜研究の問い・新規性・検証

このページはプロモーション（広告）を含みます。

研究の問い・新規性・検証（初級・読む25分＋演習35分）

この授業のゴール

• あいまいな問いを、対象・条件・比較・指標・判断基準の5要素を含む検証可能な問いに書き直せる
• 問い・仮説・予測・結果・解釈・主張を区別し、研究ケースの文をそれぞれに分類できる
• 相対削減率とパーセントポイント差を計算し、事前に決めた判断基準と照合できる
• 結果を見る前に、仮説が否定される結果を具体的な数値で書ける

仕事でどう使うか

「新しい方法は良いか」という問いには、誰も答えられません。何に対して、どんな条件で、何で測り、どれだけ違えば「良い」のかが決まっていないからです。問いを検証可能な形にすることは、研究に限らず、データを使う仕事すべての出発点です。

この授業では、研究と実務分析 で作った研究の問いを、仮説と判断基準まで具体化します。

前提

次の言葉を使います。不安があれば先に戻ってください。

• 研究と実務分析の違い、主張・範囲 → 研究と実務分析
• MAE（Mean Absolute Error：平均絶対誤差。予測と実績の差の絶対値の平均。単位は元の値と同じ） → 分析と予測と生成の違い
• 割合とパーセントポイントの違い → 比率・割合・パーセントポイント
• 条件と必要十分条件（「AならばB」の読み方） → 条件と必要十分条件

ケースは前の授業の続きです。架空の青井研究室の大学院生・森さんが、みなと屋（架空）の新商品データを使って研究を始めます。

身近な状況：「良い方法か」に答えられない

森さんは、研究計画の最初の1文を次のように書いて、指導教員の青井先生に見せました。

問い：類似商品の情報を使う新しい予測法は、良い方法か。

青井先生は、5つの質問を返しました。

答えをつなぐと、問いは次のようになります。

問い：発売後の履歴が4週以下の新商品（みなと屋5店舗、2025年発売の30品目）について、類似商品の平均を混ぜる予測法は、自商品の平均だけの予測法より、同じ評価期間で翌週販売数のMAEを平均10%以上小さくするか。

長くなりましたが、この問いには答え方が決まっています。データを集めて計算すれば「はい」か「いいえ」が出ます。最初の問いでは、どんな結果が出ても「良い」とも「良くない」とも言えてしまいます。

直感的な説明：問いは「答え合わせの方法」まで含む

天気予報にたとえます。

• 「明日は雨が降るかもしれない」：どんな天気でも外れません。外れない予報は、役に立ちません。
• 「明日の9〜18時に、市内で1mm以上の雨が降る確率は70%」：場所・時間・量・確率が決まっているので、後で答え合わせができます。

研究の問いも同じです。良い問いは、答え合わせの方法まで含んでいます。答え合わせに必要なのが、次の5要素です。

1. 対象：誰・何について調べるか（履歴4週以下の新商品）
2. 条件：どんな状況で比べるか（同じデータ・同じ期間・同じ計算量）
3. 比較：何と比べるか（基準法）
4. 指標：何で測るか（MAE）
5. 判断基準：どれだけ違えば主張するか（10%以上）

5要素がそろうと、問いは「はい／いいえ」で答えられる仮説に変えられます。仮説は「たぶんこうなる」という予想を、答え合わせができる文にしたものです。

注意：5要素は、研究の問いを「狭くする」作業です。狭すぎると価値が下がると感じるかもしれません。しかし、狭い問いに確かな答えを出し、それを少しずつ広げるほうが、広い問いにあいまいな答えを出すより、他の人が使える知識になります。

正確な定義：問い・仮説・予測・結果・解釈・主張

研究の文章では、次の6つを区別します。例はすべて森さんのケースです。

仮説の判断に使う相対削減率は、次の式で計算します。

$$r = \frac{E_{\text{基準}} - E_{\text{提案}}}{E_{\text{基準}}} \times 100$$

ここで $E_{\text{基準}}$ は基準法のMAE（個）、$E_{\text{提案}}$ は提案法のMAE（個）、$r$ は相対削減率（%）です。分母が基準法のMAEであることに注意します。

数値を代入します。基準法のMAEが12.0個、提案法が10.2個なら、$r = (12.0 - 10.2) \div 12.0 \times 100 = 1.8 \div 12.0 \times 100 = 15$ %です。判断基準10%を満たします。

パーセントポイントとの区別：指標がもともと%で表される場合（例：欠品率）、差の表し方が2通りあります。欠品率が20%から17%に下がったとき、差は 3パーセントポイント（20−17）、相対変化は 15%（3÷20×100）です。判断基準に「欠品率を10%改善」と書くと、どちらの意味か分かりません。「10パーセントポイント下げる」「相対的に10%下げる」のように書き分けます。

段階付き例題：あいまいな問いを仮説と判断基準にする

入力：森さんの同期の林さんが、「少ないデータでも使える売上予測を作りたい」と相談に来ました。

ステップ1：対象を決める。「少ないデータ」とは何か。林さんと話して、「販売履歴が8週以下の商品」に決めました。

ステップ2：比較の相手を決める。新しい方法が良いかは、何かと比べないと分かりません。最も単純で、現場で実際に使われている方法として「直近4週の平均」を基準法にします。

ステップ3：指標と条件を決める。指標は翌週販売数のMAE（個）。条件は「同じ商品・同じ評価期間・学習に使える履歴の長さを同じにする」です。新しい方法だけに長い履歴を使わせると、比較が不公平になります。

ステップ4：判断基準を、結果を見る前に決める。現場の担当者に聞くと、「MAEが1割減れば発注の手間が目に見えて減る」とのことでした。そこで「相対削減率の平均が10%以上」とします。

ステップ5：仮説と、仮説が否定される結果を書く。

出力の意味：最初の「少ないデータでも使える予測」は、どんな結果でも「使える」と言えてしまう問いでした。ステップ5の表は、結果が出る前に「どうなったら仮説は誤りか」を決めています。この「否定される結果」を書けることが、検証可能な仮説の条件です（詳しくは 反証と反例）。

操作して理解する：判断基準と結果を照合する

森さんの実験結果を、履歴の長さ別にまとめた表で確かめます。下のコードは、商品群ごとの相対削減率を計算し、判断基準（10%）と照合します。zip(a, b, c) は3つのリストを同じ位置どうしで組にする関数、round(x, 1) は小数第1位に丸める関数です。

weeks = [1, 2, 3, 4, 8, 12]                 # 履歴の長さ（週）でまとめた商品群
base  = [9.6, 8.8, 8.0, 7.4, 6.0, 5.2]      # 基準法（自商品の平均）のMAE（個）
prop  = [7.9, 7.6, 7.2, 7.0, 6.1, 5.5]      # 提案法（類似商品の平均を混ぜる）のMAE（個）
th = 10                                     # 判断基準：相対削減率10%以上（実験前に決めた値）

rs = []
for w, b, p in zip(weeks, base, prop):
    r = round((b - p) / b * 100, 1)         # 相対削減率（%）。分母は基準法のMAE
    rs.append(r)
    print(f'{w:>2}週  基準 {b:.1f}  提案 {p:.1f}  相対削減率 {r:5.1f}%', '基準以上' if r >= th else '')

short = [r for w, r in zip(weeks, rs) if w <= 4]
print('履歴4週以下の平均削減率', round(sum(short) / len(short), 1))

出力は次のとおりです。

履歴4週以下の平均削減率は11.7%です。

読み方：問いの対象は「履歴4週以下」でした。その平均11.7%は判断基準10%を満たすので、仮説を支持する結果です。ただし、4週の商品群だけを見ると5.4%で、基準に届きません。また、8週・12週では提案法のほうが悪化しています（マイナス）。

主張の書き方：「履歴4週以下の30品目では、相対削減率の平均が11.7%で仮説を支持した。ただし効果は履歴が長いほど小さく、4週では5.4%、8週以上では悪化した。」

試してみましょう：

1. th = 10 を th = 15 に変えると、基準を満たす商品群はどれになるでしょう。（答え：1週だけ）
2. 結果を見た後で「履歴3週以下」に対象を変えれば、平均は13.8%になり、より強い結果に見えます。これは許されるでしょうか。（答え：許されません。対象を結果を見てから選び直すと、都合のよい結果を拾うことになります。もし3週以下に絞ることに意味があると考えたなら、それは新しい仮説として、別のデータで確かめます。）

発展：探索と検証、事前登録、問いの種類

探索的研究と検証的研究：データを眺めて仮説の候補を見つける段階を探索的（exploratory）、事前に決めた仮説を新しいデータで確かめる段階を検証的（confirmatory）と呼びます。探索は研究に不可欠ですが、探索で見つけた傾向を、同じデータで「検証できた」と書くことはできません。上の例の「3週以下に絞ると13.8%」は探索の結果で、検証には別の商品群や別の年のデータが必要です。

事前登録（preregistration）：仮説・指標・判断基準・分析方法を、データを見る前に第三者が確認できる場所に記録しておく方法です。医学や心理学などで広く使われ、機械学習の分野でも実験計画を事前に記録する取り組みがあります。形式は分野や登録先によって異なるため、使う場合は登録先の公式情報で確認してください。研究室の中で、日付つきの計画書を共有しておくだけでも、後から基準を動かす誘惑を減らせます。

問いの種類：

同じテーマでも、問いの種類によって必要な設計が変わります。予測が当たることは、原因が分かったことを意味しません。

統計的な仮説との関係：統計学の仮説検定では、「差がない」という帰無仮説を立てて、データがそれと矛盾するかを調べます（「帰無と対立仮説」（有料版））。この授業の「研究の仮説」は、検定の対立仮説に近い考え方ですが、効果の大きさ（10%以上）や対象の範囲まで含む点で、より広い意味で使っています。

よくある失敗

失敗1：測れない形容詞を問いに入れる

誤った例：「提案法は、実用的で優れた予測を可能にするか。」

なぜ誤りか：「実用的」「優れた」は、何で測るかが決まっていません。MAEが0.1%下がっただけでも「優れた」と言え、逆に10%下がっても「実用的ではない」と言えてしまいます。

直し方：形容詞を、指標と数値に置き換えます。

失敗2：どんな結果でも外れない仮説を立てる

誤った例：「提案法は、条件によっては予測を改善することがある。」

なぜ誤りか：改善した場合は「改善した」、悪化した場合は「この条件では改善しなかった」と言えます。どの結果も仮説と矛盾しないので、実験をしても何も分かりません。

直し方：条件を特定し、否定される結果を書きます。

仮説：履歴4週以下の新商品では、提案法の相対削減率の平均が10%以上になる。
否定される結果：相対削減率の平均が10%未満。

「条件によっては」を使いたくなったら、その条件が何かを考えることが研究の中身になります。

失敗3：相対削減率の分母を間違える

誤った計算：基準法のMAEが12.0個、提案法が10.2個のとき、

$$r = \frac{12.0 - 10.2}{10.2} \times 100 \approx 17.6\%$$

と、提案法のMAEを分母にしてしまう。

正しい計算：「基準法と比べて何%減ったか」なので、分母は基準法です。

$$r = \frac{12.0 - 10.2}{12.0} \times 100 = 15\%$$

なぜ問題か：17.6%と15%では、判断基準が16%なら結論が逆になります。論文や報告では、式を明記して、読み手が同じ計算を再現できるようにします。

失敗4：結果を見てから判断基準や対象を変える

誤った例：実験前の判断基準は「履歴4週以下で相対削減率10%以上」だった。結果を見ると4週の群が5.4%と低かったので、計画を「履歴3週以下」に書き換えて、平均13.8%で「仮説を強く支持した」と報告する。

なぜ誤りか：結果に合わせて対象を選び直すと、偶然うまくいった部分だけを報告することになります。何度も選び直せば、どんな方法でも「効果あり」に見える範囲が見つかります。

直し方：事前の基準どおりに結果を報告し（11.7%、基準を満たす。4週では5.4%）、「3週以下では効果が大きい可能性がある」は探索的な発見として書き、別のデータで確かめる次の仮説にします。

まとめ

• 検証可能な問いは、対象・条件・比較・指標・判断基準の5要素を含み、答え合わせの方法が決まっている。
• 問い・仮説・予測・結果・解釈・主張を区別して書く。仮説は否定され得る形にする。
• 相対削減率の分母は基準法の値。%の指標ではパーセントポイントと相対変化を書き分ける。
• 判断基準と対象は結果を見る前に決める。結果を見て変えた部分は探索的な発見として扱い、別のデータで確かめる。

用語

仮説（hypothesis）

問いへの予想の答えを、否定され得る形で述べた文。

予測（研究の）（prediction）

仮説が正しければ、ある実験で観測されるはずの具体的な結果。

判断基準（decision criterion）

結果をどう判断するかを、結果を見る前に数値で決めた基準。

相対削減率（relative reduction）

（基準の値−比較する値）÷基準の値×100 で表す、基準から何%減ったかの割合。

探索的研究（exploratory research）

データから仮説の候補を見つける段階の研究。見つけた傾向は別のデータで確かめる必要がある。

事前登録（preregistration）

仮説・指標・判断基準・分析方法を、データを見る前に第三者が確認できる形で記録しておくこと。

よくある質問

判断基準の数値（10%など）は、どうやって決めればよいですか？

その差が実務や理論で意味を持つ大きさから決めます。例えば「MAEが1割減れば発注の手間が目に見えて減る」という現場の声や、先行研究で報告された改善幅、測定のばらつきの大きさが材料になります。大切なのは、結果を見る前に決めて記録することです。

仮説と予測は、何が違うのですか？

仮説は一般的な主張（提案法は基準法よりMAEが10%以上小さい）、予測はこの実験で観測されるはずの具体的な結果（この30品目で相対削減率の平均が10%以上）です。同じ仮説から、別のデータでの別の予測を導けます。

仮説が否定されたら、研究は失敗ですか？

失敗ではありません。「この条件では効果がない」は、他の研究者が同じ方法を試す前に知っておくべき知識です。ただし、否定された理由（効果がないのか、データが少なすぎたのか）を区別して報告することが大切です。

指標を1つに決められないときはどうしますか？

主に判断に使う指標（主要指標）を1つ決め、他は補助指標として扱います。例えば主要指標をMAE、補助指標を欠品率にします。複数の指標を並べて「どれか1つが良ければ成功」とすると、偶然良く見える結果を拾いやすくなります（「多重比較と補正」（有料版））。

問いが狭すぎて、価値がないように感じます。

狭い問いへの確かな答えは、次の問いの土台になります。研究では、「履歴4週以下で効果がある」を確かめた後に、「8週以下でも成り立つか」「他の業種でも成り立つか」と範囲を広げていきます。最初から広い問いにすると、何が効いたのか分からない結果になりがちです。

探索的な分析をしてはいけないのですか？

探索は仮説を見つけるために必要です。問題は、探索で見つけた傾向を、同じデータで「確かめた」と報告することです。探索と検証を分け、探索で得た仮説は別のデータや次の実験で確かめます。

確認問題

次に学ぶこと

次の 新規性の種類 では、この問いに答えることがどんな新しさ（新規性）を持つのかを、理論・方法・データ・検証・知見の5種類で説明できるようにします。

関連：統計的な仮説検定の考え方は 「帰無と対立仮説」（有料版）、複数の指標を比べるときの注意は 「多重比較と補正」（有料版） で扱います。仮説が否定される条件の考え方は 反証と反例 でさらに深めます。