グーグル傘下のGoogle DeepMindは3月13日（現地時間）、ゲームなど様々な3D仮想環境で自然言語による指示に従って行動できるAIエージェントを開発するプロジェクト「SIMA（Scalable Instructable Multiworld Agent）」を発表した。
エキスパートプレイヤーのゲームプレイでトレーニング
Introducing SIMA: the first generalist AI agent to follow natural-language instructions in a broad range of 3D virtual environments and video games. 🕹️
— Google DeepMind (@GoogleDeepMind) March 13, 2024
It can complete tasks similar to a human, and outperforms an agent trained in just one setting. 🧵 https://t.co/qz3IxzUptopic.twitter.com/02Q6AkW4uq
SIMAは、多様な3Dゲーム環境内で自然言語の指示に従って行動できる「万能エージェント」の開発を目指すもので、従来のゲームAIの枠を大きく超える成果が期待されている。
SIMAエージェントの特徴は、人間のプレイヤーと同じインターフェース、つまり画面からの視覚情報と自然言語の指示を入力とし、キーボードとマウス操作を出力としている点だ。
これにより、原理的には人間と同じようにゲームをプレイできる汎用性の高いAIの実現を目指している。
この図はSIMAの概要を示したものだ。
まず多用な環境でエージェントが学習・評価をできるように、様々な3D環境を用意する。その中には「Teardown」「No Man's Sky」「Valheim」といった商用ゲームも含まれており、これらは視覚的にリアルで複雑なインタラクションが要求される。また、特定のスキルを評価するため研究用に作られた環境も用意された。
次にエージェントの模倣学習に利用されるデータセットの作成だ。エキスパートプレイヤーによるゲームプレイデータを大規模に収集。データには、ビデオ、テキストによる指示や行動記録などが含まれる。
続いてエージェントの学習フェーズに入る。エージェントは既存の事前学習済みモデル（SPARC、Phenaki）と、スクラッチで開発したTransformerを組み合わせたアーキテクチャーで設計されており、収集したデータを用いて人間のデモから教師あり学習（行動クローニング）を実施する。
エージェントは人間の評価者による主観評価、および研究用環境での自動評価によって評価されている。
上図は、異なる学習条件下でのエージェントの性能を比較したものだ。
比較の基準として、それぞれの環境（ゲーム）に特化して訓練されたエージェント（環境特化型エージェント）の性能を100％としている。
全ての環境で学習したエージェント（左）は、環境特化型エージェントより性能が70％高い。これは、複数の環境で学習することで、エージェントが汎用的なスキルを身につけていることを示唆している。
一方、未知の環境（中：学習に使っていないゲーム）で評価したところ、環境特化型エージェントより落ちるが、ある程度の性能を発揮できていることから、一定の汎化能力は備えていると言える。
ただし、言語による入力を与えない条件（右）では性能が大幅に低下している。これは、言語の指示がエージェントの行動決定に非常に重要な役割を果たしていることを示している。
とはいえ、現状のSIMAエージェントの性能は人間のプレイヤーには及ばず、言語理解と行動の結びつきもまだ不完全だ。
Google DeepMindは、より多くの環境とデータを活用しながら、エージェントの能力向上を目指す方針。将来的には、SIMAのようなAIが様々なゲームや3D環境でNPCやユーザーのアバター（分身）として活躍する可能性も期待されている。
ゲームAIといえば、これまでは特定のゲームに特化して開発されるのが一般的だった。しかしSIMAは、言語を介して環境の知識を汎用的に活用する新しいアプローチを取っている。
まだ発展途上の技術ではあるが、ゲームという枠を超えて、将来の人間とAIのインタラクションのあり方を変える可能性を秘めたプロジェクトとして注目される。
