AnthropicのYouTubeより、”Doom”が動いている様子
Anthropicのセーフガードチームに所属する研究者、Nicholas Carliniが2月5日、複数のAIモデルを並列に動かす「エージェントチーム」という新しい開発手法の成果を公開した。16体のClaudeを同時に走らせ、人間の継続的な介入なしで、Linuxカーネルをビルド可能なCコンパイラを一から実装させたという。
実験では、Rustで書かれた約10万行のCコンパイラが完成し、x86、ARM、RISC-Vの各アーキテクチャ上でLinux kernel 6.9をコンパイルできることが確認された。実行されたClaude Codeのセッションは約2000回、消費トークン数は入力約20億、出力約1億4000万で、APIコストはおよそ2万ドルに達した。Carlini氏は、それでも個人や人間チームで同等の成果を出すよりははるかに安価だと評価している。
Carlini氏が最も重視したのはテスト設計だ。AIは与えられた検証基準を忠実に満たそうとするため、テストが不完全だと誤った方向に最適化されてしまう。コンパイラ開発の後半では、新機能を追加するたびに既存機能が壊れる問題が頻発したため、CI環境を整備し、厳密な回帰テストを導入した。また、AIが時間感覚を持たない点を踏まえ、全テストではなく決定的に抽出した一部サンプルを高速に回す仕組みも用意したという。
完成したコンパイラは、QEMUやFFmpeg、PostgreSQLなど多くの実在ソフトをビルドでき、GCC torture test suiteでも約99％の通過率を記録した。一方で、16ビットx86コード生成や独自アセンブラ・リンカなど未完成の部分も多く、生成コードの効率やRustコードの品質も専門家水準には及ばないという。Carlini氏は、これはモデル能力の限界が見えた結果だと述べている。
一方で、テストを過信し、人間が中身を理解しないままソフトウェアを配布するリスクにも警鐘を鳴らしており、期待と不安が同時に存在する段階だと結論づけた。
