AIの内部には、大量の数値の活動がある。特定の入力で強く反応するパターンを調べると、モデルがどのような情報を表現しているかの手掛かりが得られる。図に名前を付けることと、判断の仕組みを説明することの間には、まだ段階がある。
一つの神経細胞に、一つの意味とは限らない
ニューラルネットワークでは、複数の意味が同じ成分に重なって表されることがある。逆に、一つの概念が多数の成分へ分散する場合もある。個々の値を眺めるだけでは、何を担うかが読み取りにくい。
疎なオートエンコーダーなどを使い、活動を比較的少数の特徴の組み合わせとして分解する研究がある。Anthropicは、実用規模の言語モデルから、解釈しやすい特徴を取り出す研究を公表している。
反応していることと、原因であること
ある特徴が橋の話題で強く反応すれば、橋に関係する情報を表していると推測できる。その特徴が回答に必要なのかを調べるには、内部の活動を強めたり弱めたりして、出力がどう変わるかを試す。
観察と介入を組み合わせることで、単なる相関から一歩進める。特徴の意味も、少数の分かりやすい例だけで決めず、異なる文脈や反例で確かめる必要がある。
全体の理解には、まだ距離がある
一部の特徴を説明できても、回答ができるまでのすべての計算を説明したことにはならない。特徴の抽出方法が異なれば、分け方や名前も変わり得る。モデルが自然言語で述べる理由も、内部計算の忠実な記録とは限らない。
内部表現の研究は、誤りの発生箇所や望ましくない挙動を調べる道具になり得る。評価では、説明の見栄えに加え、その説明を使って新しい入力での挙動を予測・制御できるかが重要になる。
特徴に付けた人間向けの名称は、観測された反応を要約したラベルである。モデルが人間と同じ概念や意識を持つことを、その名称だけから結論することはできない。
参考資料
- Anthropic：Mapping the mind of a large language model
- Anthropic：The engineering challenges of scaling interpretability
参考資料確認日：2026年10月13日。