AIが「90％の確率で正しい」と答えたとき、その数字をどのように受け取ればよいのか。評価の基本は、90％と判断した問題を多数集め、本当に約90％で正解しているかを調べることである。
正答率と、自信の正確さは異なる
正答率が高いモデルでも、間違ったときに強く断定することがある。逆に正答率が低くても、不確かな問題を適切に見分けられる場合がある。予測した確率と実際の頻度が合う性質を、キャリブレーションという。
説明のため、80％と予測した問題を100問集めたとする。およそ80問正解なら、その集まりでは確率がよく対応している。100問すべてが簡単な問題だったか、分野ごとに偏りがないかも確認する必要がある。
文章で述べる自信と、モデル内部の数値
言語モデルが文章として出す「自信があります」は、数値的に校正された信頼度とは限らない。次に出す単語の確率も、その文章全体の主張が正しい確率とは違う。見慣れた誤情報を高い確率で出すこともある。
自信を測る方法には、モデル自身に評価させる、複数回の回答の一致を見る、専用の評価器を使うなどがある。どの方法も、実際の正誤が分かるデータで性能を確かめる必要がある。
分からないときに、人へ渡せるか
自信の指標が役立つのは、低い場合に検索や人の確認へ回すなど、次の行動を変えられるときである。誤りの費用が大きい用途では、平均正答率だけでなく、確認へ回した後に残る誤りを測る。
学習時と異なる分野や言語では、確率の対応が崩れることがある。運用対象に近いデータで評価し、問題の構成が変わったら測り直す。自信の数字は、検証された条件とセットで初めて意味を持つ。
良好なキャリブレーションは、個々の回答の正しさを保証しない。確率が正確でも、90％の集まりには一定数の誤答が含まれる。
参考資料
- Guoほか：On Calibration of Modern Neural Networks
- Kadavathほか：Language Models (Mostly) Know What They Know
参考資料確認日：2026年10月13日。