p値が0.05未満ならその研究結果は正しいのか

雑記Topに戻る

p値を計算するときは、まず仮説と統計モデルを置きます。その仮定のもとで、観測結果と同じか、さらに極端な結果が得られる確率がp値です。「仮説を置いたときのデータの確率」であり、データを見た後で「研究結果が正しい確率」を計算したものではありません。

仮説が正しい確率との違い

新しい処理と従来の処理で平均値に差がない、という帰無仮説を考えます。観測値から検定統計量を計算し、帰無仮説の下でその値以上に極端な値が出る確率を求めます。p値が小さいという結果は、仮定したモデルとデータの組合せが整合しにくいことを示します。

「差がないと仮定した場合のデータの確率」を計算しても、「データを見た後に差がない確率」へ、そのまま読み替えることはできません。条件付き確率の向きが逆だからです。p=0.03を「研究が誤りである確率は3%」と説明するのも同じ取り違えです。

小さな差でも有意になり得る

標本数が増えると、平均値の差を細かく測れるようになります。その結果、実用上ほとんど意味のない差でも、統計的には有意になる場合があります。反対に、標本数が少なければ、実際には有用な差があっても検出できないことがあります。

例えば、作業時間をどれだけ短縮したかを評価するなら、p値だけでなく短縮時間の推定値、信頼区間、導入費用を示す必要があります。「有意だった」という情報だけでは、その改善を採用する価値までは判断できません。

0.05という境界の扱い

米国統計学会は2016年の声明で、科学的結論を特定の閾値の通過だけに基づけないことや、統計的有意性が効果の大きさを測るものではないことを明示しました。0.049と0.051の間に、研究の価値を二分する急な断絶があるわけではありません。

さらに、独立性や分布の仮定が妥当か、試した分析をすべて報告しているかによって、p値の意味は変わります。研究を読む際には、効果量と不確実性、データの集め方、分析の選び方を一緒に確かめます。p値は、その検討に使う一つの情報として位置付けるのが適切です。

有意水準5%は、帰無仮説が正しい条件で事前に定めた検定を繰り返したときの第一種過誤率を管理する基準です。採択した研究のうち5%が誤り、という意味ではありません。

参考資料

参考資料確認日:2026年10月13日。

雑記Topに戻る