多数の項目を検査すれば、偶然に珍しい結果が出る機会も増える。研究でも、測る項目、比較する集団、除外するデータを何通りも試せば、どこかに小さなp値が見つかることがある。見つかった結果だけを一回の検定として扱うと、発見の確かさを過大評価してしまう。
20回試すと、何が起こるか
帰無仮説がすべて正しく、各検定が独立で、誤って有意と判定する確率がそれぞれ5％だと仮定する。20回の検定が一度も誤判定しない確率は0.95の20乗で、約35.8％になる。少なくとも一つが誤判定になる確率は、その残りの約64.2％である。
これは、20個の結果の64.2％が誤りという意味ではない。「20個の中に一つ以上の誤りが含まれる」確率だ。一回当たりの誤りを抑えることと、分析全体で誤った発見を抑えることには違いがある。
分析の選択肢も、試行回数になる
比較する項目を増やすだけでなく、年齢の区切りを変える、特定の観測値を外す、説明変数を入れ替える、といった操作でも結果は変わる。結果を見ながら有意になる組合せを選び、その探索を報告しなければ、最終的なp値は事前に決めた検定のようには解釈できない。
探索自体には研究上の価値がある。多くの候補を調べて新しい仮説を得ることは、発見の自然な過程だ。問題になるのは、探索で選んだ仮説を、その選択に使ったデータだけで確証したように扱うことである。
探索と検証の役割を分ける
ボンフェローニ法では、全体の有意水準を検定数で割って個々の判定基準を厳しくする。20検定で全体を5％以下に抑えたいなら、一つの目安は0.05÷20＝0.0025となる。この制御には検定同士の独立性を必ずしも必要としない。
大量の候補から次の実験対象を選ぶ場面では、偽発見率を管理する方法も使われる。何を誤りとして管理するかは目的に応じて決める。主要な解析の事前登録、試した分析の記録、別データによる再検証を組み合わせれば、探索から得た発見を次の検証へ接続できる。
64.2％という値は、独立で各検定の第一種過誤率がちょうど5％という説明用の条件から計算したもの。実データの検定には相関がある場合も多い。
参考資料
参考資料確認日：2026年10月13日。