AIの中身は読めるのか。Goodfireが問い直す「ニューロンの常識」

AIの答えは見えても、その答えを生む内部の仕組みは分からない。そんな「ブラックボックス」観に、研究者から異論が出た。AIの内部解析に取り組むGoodfireのNick Cammarata氏は、ニューラルネットの個々のニューロンは、従来考えられていたよりも読み解けるという長文の研究エッセーを公開した。海外の開発者コミュニティでも大きな議論を呼んでいる。

これは「AIの安全性が証明された」という発表ではない。読み解くための道具や見方を変えると、無秩序に見えた内部構造にも筋道が見えてくる、という研究上の仮説だ。AIエージェントに仕事を任せる範囲が広がる今、その違いは重要になる。

「猫と車に反応するニューロン」を見直す

従来の代表例には、画像認識モデルで猫の顔にも車の正面にも反応するニューロンがあった。一つのニューロンが無関係な概念を詰め込んでいるように見え、内部をそのまま読むのは難しいと考えられてきた。

Cammarata氏は、この例を入力元や後段の回路まで調べ直した結果、両者に共通する尖った「V字」の形を拾っていると解釈する。猫と車というラベルだけで反応を分類すると、形の共通点を見落とす。氏は、初期の研究で複雑さの証拠とされた別の回路についても、同様に見直す余地があると主張する。

さらに、画像モデルの構造や解析手法を改善すると、深い層のニューロンの多くに理解しやすい役割が見つかったと報告した。言語モデルQwen3-32Bの予備的な調査でも、ニューロンの大半には主な役割があると推定している。ただし、何を「一つの役割」と数えるかで比率は変わり、本人も単一の数値を結論として扱うことを戒めている。

読めることと、予測できることは別

この仮説が興味深いのは、モデルの外から振る舞いを試すだけでなく、内部の回路を直接調べる研究に再び道を開く点だ。ニューロンの反応を観察し、周囲とのつながりを調べ、活性化を変えて出力への影響を試す。説明を作って終わりにせず、実験で壊せるか確かめる方法が示されている。

一方で、エッセーは査読済みの包括的な結論ではなく、著者自身が「作業仮説」と位置づける。言語モデルに関する詳細な技術論文は今後公開するとしており、他の研究者が同じ方法と結果を検証する余地が残る。また、個々の部品の働きを説明できても、長い対話やツール操作を含むエージェント全体の行動を必ず予測できるわけではない。

日本の現場で使うなら

企業がAIエージェントを評価する際、内部解析は将来、異常な判断の原因を探る手がかりになり得る。ただし、現時点で実務の安全策を置き換えるものではない。利用可能なデータと操作権限を絞り、重要な実行には人の承認を置き、失敗を再現できるログを残す必要がある。

今回の議論が示すのは、AIを「理解不能な箱」と決めつける必要も、「中を読めたから安心」と急ぐ必要もないということだ。内部の説明をどこまで検証可能な知識にできるか。AIの能力競争と並んで、理解する技術の競争も始まっている。

---

出典：Goodfireの研究エッセー、Hacker Newsでの議論。内容は2026年10月17日時点の公開情報に基づく。