新清士の「メタバース・プレゼンス」 第164回

AIはすでに、私たちの心を内部で再現しているのかもしれない

AIにも“無意識”に似ている活動がある

　7月7日、Anthropicが「言語モデルにおけるグローバルワークスペース」という興味深い研究を発表しました。Fable 5のメタ認知能力の獲得に関連する研究ではないかと筆者は推測しています。

　Anthropicは、現代のLLMのなかで、人間の脳に似た、勝手に頭に浮かぶイメージのような無意識的な活動に近いものが一部起きているということを証明したものです。これは「アクセス意識」と呼ばれて、人間の意識活動とは、別種のものとして説明されており、この説明によって、LLMに人間と同じような意識があることを証明するものではないのですが、部分的であれ、意識活動に近い働きが、自然に形成されている点が重要です。

　研究では、Claudeのなかで、「J空間（J-Space）」と呼ばれるアウトプットを生み出す前に、中間段階が存在することが発見されたと説明されています。このJは数学的な概念のヤコビアン（Jacobian）から取られたものです。ある入力が少し変わったとき、出力のそれぞれがどれだけ変わるかをまとめた行列（変化の対応表）のことです。

　J空間は、何かの会話をする際に、情報の束となっている空間です。AIの内部はベクトル情報で構成されているために、人間には知覚できないものですが、それを無理やり言葉へと変換する「Jレンズ（J-Lens）」という方法を使うことで、のぞき見られます。

　たとえば、「太陽から4番目の惑星の色は何か」という文章に対して、「赤」という回答が出る前に中間段階として、Jレンズに「Color（色）」と「Mars（火星）」という単語が現れていることが確認できます。足し算のケースでは、求められているのが「Math（数学）」で、回答の途中段階の計算の「21」、「42」がJレンズに現れています。3番目のバグ検出では、Jレンズに登場している単語では「これは空リストによるエラーになりそうだ」と内部で認識しているように見えるのです。

Anthropicが見せているJレンズの例示より

　これらの思考はLLM内部に“創発的に”登場したものだという点が重要です。LLMは誰に教えられるわけでもなく、性能向上の過程で、出力結果を生み出す前に、思考の中間段階を作り出していたのです。

　興味深いことに、このJレンズで中身を見て、J空間に現れている単語を書き換えて回答へ影響を与えることができます。挙げられていた例では、「フランスについての4つの質問」という設問に対して、J空間に登場した「France（フランス）」という単語を、「China（中国）」に書き換えたことで、回答がすべて中国に関連する内容へ変わってしまったことが示されていました。

Anthropicの研究より、J空間の単語を変えてしまった事例

　この研究が画期的なのは、これまでLLMの内部状態を把握するためには、人間の入力と、LLMのアウトプットを比較するしかなかった点です。中間段階で、AIがどんな思考をしようとしているのかを把握できませんでした。しかし、AIが危険な行動をしようとしていたり、人間を騙そうと考えていたりする場合に、部分的にせよ事前に察知することが可能になったのです。

　もちろん、限界も多く、J空間に登場する単語はせいぜい20数個ぐらいしか把握できず、そもそも、J空間はベクトル情報の塊のため、Jレンズを通じて単語として表現できないものも多く、解釈不可能な部分も多いようです。それでも、AIの判断や行動を、人間の意図・価値観・安全上のルールに沿わせることを目的とした「AIアラインメント」を進めるうえで、新しい方法になると考えられます。

　我々には、クラウドベースLLMのJ空間を直接見る方法はありません。しかし、Anthropicは、オープンモデルLLMのAlibaba「Qwen」と、Google「Gemma」にも、J空間が存在することを確かめるツール「jlens — Jacobian lens」を公開しています。チャートでは、アスキーアートで描かれた人物の「鼻」を選択すると、「nose」という単語が、J空間に現れていることが示されています。

Anthropic公開のオープンモデル用の「Jレンズ」のサンプル画面より