二つの方法を比較すると、どの条件でもAの成績が良いのに、全体をまとめるとBの成績が良くなることがある。シンプソンのパラドックスと呼ばれる現象だ。計算の間違いではなく、集団ごとの人数の違いによって起こる。
成功率の逆転を、人数で確かめる
説明用に、簡単な課題と難しい課題に方法A・Bを使うとする。簡単な課題ではAが10件中9件成功、Bが100件中80件成功。難しい課題ではAが100件中20件成功、Bが10件中1件成功だったとする。
| 条件 | 方法A | 方法B |
|---|---|---|
| 簡単 | 9／10＝90％ | 80／100＝80％ |
| 難しい | 20／100＝20％ | 1／10＝10％ |
| 全体 | 29／110≒26.4％ | 81／110≒73.6％ |
簡単な課題でも難しい課題でもAの成功率が高い。それでも全体ではBが高くなる。Aには難しい課題が多く、Bには簡単な課題が多く割り当てられているからだ。
全体の割合は、人数を重みとする平均
全体の成功率は、条件別の成功率を単純に半々で平均した値ではない。各条件の件数に応じた加重平均である。方法ごとに重みが違えば、条件別の優劣と全体の優劣が一致するとは限らない。
実際の比較でも、病院が受け入れる患者の重症度、学校の入学者構成、製品が使われる環境などが集計値に関わる。全体の割合は実際の処理件数を説明するのに役立つ一方、同じ条件での方法の違いを、そのまま表しているとは限らない。
細かく分ければ、必ず正しくなるのか
どの変数で分けるべきかは、知りたい問いと因果関係による。先ほどの課題の難しさが方法の選択前に決まっているなら、難しさをそろえた比較には意味がある。処理の結果として変わる変数で分けると、効果の一部を消したり、新たな偏りを生んだりすることがある。
集計値が逆転したら、まず分母となる人数と集団の構成を確かめる。その上で、実際の全体成績を知りたいのか、同じ条件での性能を比較したいのかを明確にする。全体と内訳は、異なる問いに答えている場合があるのだ。
表の数値は実験・治療成績の実測値ではない。シンプソンのパラドックスの説明用に構成した例である。
参考資料
参考資料確認日：2026年10月13日。