画像クレジット:Stephanie Arnett/MIT Technology Review | Adobe Stock
アンソロピックは、自社モデルの「内部思考」をのぞき見る新手法を発表した。LLM内部の「J空間」には、最終的な出力には現れないが推論に影響しているとみられる言葉が潜む。だが、それはどこまで「思考」と呼べるのか。取材を担当した本誌の編集者に、この一風変わった研究の読み方を聞いた。
時価総額が約1兆ドルに達し、現在世界で最も企業価値の高いAI（人工知能）企業となったアンソロピック（Anthropic）は、奇抜で高度に理論的な研究を発表することで知られている。たとえば、AIモデルが痛みを感じることができるのかを研究しており、ユーザーがモデルを「乱用」していると判断した場合には、チャットボットとの会話を打ち切ることもある。
アンソロピックが他のAI企業よりも多くの時間と資金を投じている専門分野の一つが、「機械論的解釈可能性（mechanistic interpretability）」と呼ばれる研究である。これは、AIモデルの複雑な数学的処理の内部を調べ、なぜある出力が生成され、別の出力ではなかったのかを解明しようとするものだ。極めて複雑な分野であり、あらゆる結果に寄与し得るデータポイントは数百万にも及ぶ。それらを一つひとつ追っていく作業は、有益な知見を得るというより、支離滅裂な言葉の羅列を読み解くように見えることさえある。また、この分野には議論も多い。心理学や神経科学から借用した用語でAIモデルを説明すると、その振る舞いが実際以上に高度であるかのような印象を与えかねないからだ。
だからこそ、アンソロピックが先週、自社モデルが回答を推論する際の「内部思考」をのぞき見る新たな手法を発見したと発表したとき、ぜひ話を聞きたい同僚が一人いた。本誌の上級編集者のウィル・ダグラス・ヘブンは、コンピューターサイエンスの博士号を持つだけでなく、AIモデルがどのように機能するのかについて長年取材を重ねてきた人物だ。アンソロピックの新たな（そして予想どおり一風変わった）研究から何を読み取るべきか、彼に話を聞いた。
◆
——アンソロピックは今回、具体的に何を明らかにしたのでしょうか？
アンソロピックは数年前から、大規模言語モデル（LLM）の仕組みを解明しようとしてきました。この研究に取り組んでいるのはアンソロピックだけではありませんが、同社は他の多くのAI企業以上に、これを中核的な使命の一つとして位置付けていると私は考えています。アンソロピックのCEOであるダリオ・アモデイは、LLMの仕組みをより深く理解しない限り、それらを完全に制御することはできないと述べています。
今回の新しい研究は、まさにそうした文脈に位置付けられるものです。LLM内部の奇妙な仕組みを、これまで以上に深く掘り下げています。アンソロピックが明らかにしたのは、LLMの内部には「J空間（J-space）」と呼ぶ空間が存在し、そこには最終的な出力には現れないものの、モデルが問題を推論していく過程に影響を与えているとみられる言葉が存在するということ。これらは、アンソロピックが自社モデル「Claude（クロード）」を解析する新たな手法を開発するまで完全に隠れていたものであり、まさに新たな発見と言えます。
これらの言葉は、LLMが特定のタスクのどの段階まで進んでいるかを示すこともあれば、何かを認識した瞬間のひらめきのように現れることもあります（たとえば、タンパク質配列を構成する文字だけを与えると、「protein（タンパク質）」という単語が現れる）。あるいは、モデル自身の意思決定に対する内部コメントのような役割を果たす場合もあります。私が最も興味深いと感じた例では、「panic（パニック）」という単語が現れたとき、Claudeはコーディングテストで不正をすることを選択しました。
アンソロピックはさらに、LLMがこの空間内の言葉を記述し、操作することもできると明らかにしました。つまり、LLMは何らかの形でこの空間を利用しているようなのです。
——少し視点を引いて考えてみましょう。 大規模言語モデルは決して単純なものではないが、魔法でもない。単語同士の関係を学習する膨大な数学的計算の集合体と言えます。では、なぜLLMの内部を「のぞき見る」ことはそれほど難しいのでしょうか。
そのとおり、魔法ではありません。とはいえ、私たちがその仕組みを完全には理解できていないことが、LLMを神秘的な存在として語る風潮を助長している面はあります。また、アンソロピックがここで打ち出しているナラティブ（物語）である「私たちは非常に謎めいた技術を生み出しました。しかし心配はいらない。それを解明するのも私たちなのだから」は、同社らしい姿勢をよく表していると言えます（アンソロピックは新モデルのコーディング能力が世界的なサイバーセキュリティリスクをもたらすほど高いと警告したが、その後まもなく米国政府によって差し止められた）。
もちろん、LLMは数学に基づいて動作しています。しかし、その数学は途方もなく複雑だ。現在のLLMは数千億ものパラメーターで構成されているだけでなく、推論を実行するたびに何百万、何千万という計算が連鎖的に行われます。私は昨年、中規模のLLMでさえ、その内容を紙に印刷すればサンフランシスコをほぼ覆い尽くすほどの量になると書きました。
こうした数学的処理は、専門的な解析ツールなしには理解できません。特定のタイミングでLLMの特定の部分を可視化するツールが必要であり、どこをどのように調べるべきかも把握している必要があります。そして、そのようなツールを開発するには、そもそもこの複雑な数学をある程度理解していることが前提となります。
——以前、LLMを生物の脳を研究するように研究するという考え方について書いていました。LLMの仕組みを語る際に「脳のような」という表現を使うのは適切なのでしょうか。
私は、そうした表現を使うことにはあまり賛成ではありません。LLMは脳ではないからです。このような言い方は誤解を招きかねません。LLMが実際以上に人間らしい能力を持っているかのような印象を与えたり、その振る舞いについて根拠のない推測をしてしまったりする恐れがあります。さらに、この擬人化の問題は、この技術が何であり、将来どう発展するのかについての強い思想的立場とも深く結び付いています。
一方で、こうしたモデルが何をしているのかを表現するための、適切な代替語彙がないのも事実です。「考える」「理解する」「脳のような」といった言葉が使われる理由も理解できます。便利な略語だからだです。
アンソロピックは、LLMの内部に発見したこの新しい空間を、一部の神経科学者が意識的な思考を保持・追跡するために脳が利用していると考えている空間になぞらえています。この比較をどこまで真剣に受け止めるべきかを同社に尋ねたところ、次のような回答が返ってきました。「このような類推は、実験を設計するうえで役立ちました。J空間について、一見すると予想できないような多くの実験的予測を立てることができ、それらが実際に正しいことも確認できたからです。一方で、J空間（そして言語モデル全般）と人間の脳との間には重要な違いがいくつもあります。私たちは両者が完全に対応していると主張しているわけではありません」。
——このJ空間という新しい概念は、AIのどのような問題の解決に活用できるのでしょうか。
アンソロピックは、J空間を監視することで、モデルが望ましくない行動を取っていることを検知できる可能性があるとしています。この空間には、モデルの最終的な出力には現れない言葉が現れるため、偏った回答を生成している場合や、不正を行うべきかどうかを内部で比較検討している場合など、通常であれば見逃してしまうような挙動を把握できる可能性があります。
もっとも、現時点ではそれはあくまで理論にすぎません。私は、この成果は単独でただちに実用化されるものというより、この技術全体を理解していくための道のりにおける一つの前進として捉えるべきだと考えています。
本記事はアフィリエイトプログラムによる収益を得ている場合があります
