AIのベンチマークはいつ実力を測れなくなるのか

雑記Topに戻る

AIの性能表では、同じ試験に何点取ったかが比較されます。試験が広く使われるほど、問題の記憶や試験への最適化も進みます。点数の上昇が、どの範囲の能力向上を表すのかを見極める必要があります。

試験問題が学習資料に入っている場合

公開された問題や解答は、ウェブ上の学習資料に混ざる可能性があります。初見の問題を解いたのか、見覚えのある答えを再現したのかが区別しにくくなります。これをデータ汚染の問題といいます。

同じ問題文がなくても、解説や翻訳、少し形を変えた類題が入ることがあります。文字列の一致だけを調べれば十分というわけではありません。問題を公開する透明性と、評価用に隠しておく必要性の間に緊張があります。

満点に近づくと違いが見えにくくなる

多くのモデルがほぼ満点なら、その試験ではモデル間の違いを細かく測れません。試験の問題数が少ない場合には、数問の違いや実行時の揺らぎで順位が変わります。順位だけを大きく扱うと、差を過大に見せることになります。

難しい問題を増やす方法に加え、新しい資料から継続的に問題を作る方法もあります。LiveBenchは、問題更新と客観的な採点を重視した評価の例です。更新した試験では、過去の点数と同じ尺度で比べられるかも課題になります。

実際の用途との距離を測る

短い質問に答える試験で高得点でも、長い調査やファイル操作の成功を保証しません。道具の使い方、失敗からの復帰、時間と費用まで含めると、別の能力が必要になります。

モデルを選ぶ際は、一般的なベンチマークを入口にして、実際に任せたい作業で評価します。採点方法、試行回数、利用できる道具、計算予算をそろえると、点数の意味が明確になります。

公開ベンチマークが学習に含まれ得ることと、特定モデルに不正な学習があったことは別の主張です。個別の疑いには、データや挙動に基づく証拠が必要になります。

参考資料

参考資料確認日:2026年10月13日。

雑記Topに戻る