AIの性能表では、同じ試験に何点取ったかが比較される。試験が広く使われるほど、問題の記憶や試験への最適化も進む。点数の上昇が、どの範囲の能力向上を表すのかを見極める必要がある。
試験問題が、学習資料に入っている場合
公開された問題や解答は、ウェブ上の学習資料に混ざる可能性がある。初見の問題を解いたのか、見覚えのある答えを再現したのかが区別しにくくなる。これをデータ汚染の問題という。
同じ問題文がなくても、解説や翻訳、少し形を変えた類題が入ることがある。文字列の一致だけを調べれば十分というわけではない。問題を公開する透明性と、評価用に隠しておく必要性の間に緊張がある。
満点に近づくと、違いが見えにくくなる
多くのモデルがほぼ満点なら、その試験ではモデル間の違いを細かく測れない。試験の問題数が少ない場合には、数問の違いや実行時の揺らぎで順位が変わる。順位だけを大きく扱うと、差を過大に見せることになる。
難しい問題を増やす方法に加え、新しい資料から継続的に問題を作る方法もある。LiveBenchは、問題更新と客観的な採点を重視した評価の例である。更新した試験では、過去の点数と同じ尺度で比べられるかも課題になる。
実際の用途との距離を測る
短い質問に答える試験で高得点でも、長い調査やファイル操作の成功を保証しない。道具の使い方、失敗からの復帰、時間と費用まで含めると、別の能力が必要になる。
モデルを選ぶ際は、一般的なベンチマークを入口にして、実際に任せたい作業で評価する。採点方法、試行回数、利用できる道具、計算予算をそろえると、点数の意味が明確になる。
公開ベンチマークが学習に含まれ得ることと、特定モデルに不正な学習があったことは別の主張である。個別の疑いには、データや挙動に基づく証拠が必要になる。
参考資料
参考資料確認日：2026年10月13日。