方法Aはどの条件でも方法Bより成績が良い。それでも、条件を分けずに全員の成績を集計すると、Bが上に来ることがある。シンプソンのパラドックスと呼ばれる逆転で、各条件にAとBの人が何人ずついるかが結果を左右する。
成功率の逆転を、人数で確かめる
説明用に、簡単な課題と難しい課題に方法A・Bを使うとする。簡単な課題ではAが10件中9件成功、Bが100件中80件成功。難しい課題ではAが100件中20件成功、Bが10件中1件成功だったとする。
| 条件 | 方法A | 方法B |
|---|---|---|
| 簡単 | 9/10=90% | 80/100=80% |
| 難しい | 20/100=20% | 1/10=10% |
| 全体 | 29/110≒26.4% | 81/110≒73.6% |
簡単な課題でも難しい課題でもAの成功率が高い。それでも全体ではBが高くなる。Aには難しい課題が多く、Bには簡単な課題が多く割り当てられているからだ。
全体の割合は人数を重みとする平均
全体の成功率は、条件別の成功率を単純に半々で平均した値ではない。各条件の件数に応じた加重平均である。方法ごとに重みが違えば、条件別の優劣と全体の優劣が一致するとは限らない。
実際の比較でも、病院が受け入れる患者の重症度、学校の入学者構成、製品が使われる環境などが集計値に関わる。全体の割合は実際の処理件数を説明するのに役立つ一方、同じ条件での方法の違いを、そのまま表しているとは限らない。
細かく分ければ、必ず正しくなるのか
どの変数で分けるべきかは、知りたい問いと因果関係による。先ほどの課題の難しさが方法の選択前に決まっているなら、難しさをそろえた比較には意味がある。処理の結果として変わる変数で分けると、効果の一部を消したり、新たな偏りを生んだりすることがある。
集計値が逆転したら、まず分母となる人数と集団の構成を確かめる。その上で、実際の全体成績を知りたいのか、同じ条件での性能を比較したいのかを明確にする。全体と内訳は、異なる問いに答えている場合があるのだ。
表の数値は実験・治療成績の実測値ではない。シンプソンのパラドックスの説明用に構成した例である。
参考資料
参考資料確認日:2026年10月13日。
