ある方法の効果を調べた論文が、どれも肯定的な結果を報告している。これだけを見ると、確かな効果があるように感じる。実施された研究のうち、よい結果が出たものだけが公表されている可能性もある。公表のされ方が知識をゆがめる問題が、出版バイアスである。
見えている論文が、研究全体を代表していない
期待どおりの差が出た研究は、論文にまとめる意欲を持たれやすい。意外性の乏しい結果は、研究者の手元に残ったり、投稿や掲載の段階で止まったりする。悪意がなくても、結果による選別は起こる。
効果が小さい領域では、偶然に大きな差が出た研究ほど注目されることもある。公表論文だけを集めると、効果の方向だけでなく、その大きさまで過大に見積もるおそれがある。
論文を増やして集めるだけでは解決しない
Turnerらの2008年の研究は、抗うつ薬について米国FDAの審査資料と公表論文を照合し、公表状況が効果の見え方に影響することを示した。文献に現れない研究を把握できる資料が、比較の鍵となった。
複数の研究を統合するメタ解析も、入ってくる資料が偏っていれば影響を受ける。大量の論文をまとめたというだけで、選別の問題が消えるわけではない。研究登録、審査資料、未公表データなどを探す理由がここにある。
差が出なかったという情報を、使える形にする
差を検出できなかった研究には、実際に効果が小さい場合と、対象数や測定精度が足りなかった場合がある。効果の推定値と不確かさ、どの程度の差なら検出できたのかを示す必要がある。
事前登録や、結果が出る前に計画を査読するRegistered Reportsは、結果による選別を減らす仕組みである。期待に沿わない結果も残れば、同じ試みを繰り返す費用を減らし、次に調べるべき条件を選びやすくなる。
統計的に有意でないことは、効果が厳密にゼロである証明ではない。実用上意味のある大きさの効果を除外できるかどうかは、推定の精度と併せて判断する。
参考資料
- Turnerほか：Selective publication of antidepressant trials and its influence on apparent efficacy
- Center for Open Science：Registered Reports
参考資料確認日：2026年10月13日。