p値は、研究が正しい確率を表す数字ではない。ある仮説と統計モデルを仮定したとき、観測結果と同じか、それ以上に極端な結果がどの程度生じるかを計算したものである。何を仮定して、何の確率を求めたのか。この順番を保つと、p値の読み違いをかなり減らせる。
仮説が正しい確率との違い
新しい処理と従来の処理で平均値に差がない、という帰無仮説を考える。観測値から検定統計量を計算し、帰無仮説の下でその値以上に極端な値が出る確率を求める。p値が小さいという結果は、仮定したモデルとデータの組合せが整合しにくいことを示す。
「差がないと仮定した場合のデータの確率」を計算しても、「データを見た後に差がない確率」へ、そのまま読み替えることはできない。条件付き確率の向きが逆だからだ。p＝0.03を「研究が誤りである確率は3％」と説明するのも同じ取り違えである。
小さな差でも有意になり得る
標本数が増えると、平均値の差を細かく測れるようになる。その結果、実用上ほとんど意味のない差でも、統計的には有意になる場合がある。反対に、標本数が少なければ、実際には有用な差があっても検出できないことがある。
例えば、作業時間をどれだけ短縮したかを評価するなら、p値だけでなく短縮時間の推定値、信頼区間、導入費用を示す必要がある。「有意だった」という情報だけでは、その改善を採用する価値までは判断できない。
0.05という境界の扱い
米国統計学会は2016年の声明で、科学的結論を特定の閾値の通過だけに基づけないことや、統計的有意性が効果の大きさを測るものではないことを明示した。0.049と0.051の間に、研究の価値を二分する急な断絶があるわけではない。
さらに、独立性や分布の仮定が妥当か、試した分析をすべて報告しているかによって、p値の意味は変わる。研究を読む際には、効果量と不確実性、データの集め方、分析の選び方を一緒に確かめる。p値は、その検討に使う一つの情報として位置付けるのが適切である。
有意水準5％は、帰無仮説が正しい条件で事前に定めた検定を繰り返したときの第一種過誤率を管理する基準である。採択した研究のうち5％が誤り、という意味ではない。
参考資料
参考資料確認日：2026年10月13日。