日本を拠点とするAIベンチャー「Sakana AI」は3月21日、進化的アルゴリズムを用いてAI基盤モデルを自動構築する手法を開発したことを公開、あわせて数学的推論が可能な日本語言語モデルや日本文化に特化した画像言語モデルを開発したことも発表した。
新手法「進化的モデルマージ」とは
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開した。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルも公開した。
— Sakana AI (@SakanaAILabs) March 21, 2024
ブログ https://t.co/E4Ao87UXXi
論文 https://t.co/YtH7wEQHf1… pic.twitter.com/JcNabJukOt
AI開発において、複数のモデルを組み合わせて新しいモデルを作る試みは以前から実施されてきたが、従来の手法では組み合わせかたの探索に人間の直感や膨大な試行錯誤が必要だった。
Sakana AIが開発した「進化的モデルマージ」は、この組み合わせかたの探索を「進化的アルゴリズム」を用いて自動化する画期的な手法だ。
進化的アルゴリズムとは、生物の進化の仕組みを模倣したアルゴリズムの総称。多様な可能性の中から優れたものを選び出し、それらを組み合わせて次の世代の候補を生成するというプロセスを繰り返すことで、次第に最適な解に近づいていく仕組みだ。
具体的には、複数の既存モデルを「親」とし、それらの「遺伝子」（モデルのパラメータやアーキテクチャ）を組み合わせて「子」（新しいモデル）を生成する。生成された多数の「子」モデルの中から、あらかじめ設定された評価基準に基づいて優れたものを選抜し、次の世代の「親」とする。
この進化のプロセスを何世代にもわたって繰り返すことで、最終的に高い性能を持つモデルを自動的に見つけ出すことができるという仕組みだ。
この手法の大きな特長は、モデルのパラメータ（重み）だけでなく、アーキテクチャ（構造）も含めて最適化できる点だ。異なるアーキテクチャを持つモデル同士を組み合わせることで、全く新しいタイプのモデルを生み出すことも可能になる。
また、この手法では大規模な追加学習をすることなく、既存モデルの「遺伝子」を組み換えるだけでモデルを生成できるため非常に効率的だ。
様々な分野のオープンソースモデルを活用することで、開発コストを大幅に抑えながら、高性能なモデルを作ることができるという。
同社は、進化的モデルマージによって、専門家でも思いつきにくいようなモデルの組み合わせを自動的に発見し、新たな能力を持つモデルを生み出すことに成功した。従来のように人間が試行錯誤するのではなく、AIの力を活用してモデル開発を効率化、自動化するという新しいアプローチを提示している。
同手法で3つの言語モデルを作成
同社は進化的モデルマージを用い、3つの新たな言語モデルを開発した。
「EvoLLM-JP」の数学的性能。一番右が正答率
ひとつは既存の日本語LLMと英語の数学モデルをマージして作成した、日本語で数学の問題を解くことができるLLM「EvoLLM-JP」。
日本語の全般的な能力の比較
7Bパラメータのモデルながら、数学だけでなく日本語の全般的な能力でも、70Bパラメータの最先端日本語LLMと同等以上の性能を発揮した。
「EvoVLM-JP」は「鯉のぼり」を認識
もうひとつは、英語の画像言語モデル（VLM：Vision Language Model）と日本語LLMをマージして作成した日本語画像言語モデル「EvoVLM-JP」。
日本語での画像の説明や質問応答が可能なだけでなく、日本文化に関する知識も併せ持っている。例えば「鯉のぼり」といった日本特有の物事を認識し、適切に説明することができる。
「EvoSDXL-JP」で生成した画像の例
最後は、画像生成で利用される拡散モデルに進化的モデルマージを適用して作成された、わずか4ステップの推論で画像が生成できる高速日本語画像生成モデル「EvoSDXL-JP」だ。
EvoLLM-JPとEvoVLM-JPはGitHubでモデルを公開しており、EvoSDXL-JPはデモが公開されている。将来的にはこれらのモデルのオープンソース化も予定しているという。
今後の展望
同社が提案する手法は、専門家の知見をあまり必要とせず、短期間で高性能なモデルを生み出せる可能性を秘めている。今後、この手法がAI開発の新たな潮流となるかもしれない。
特に、ゼロから大規模なモデルを訓練するコストが高騰する中、オープンソースのモデルを活用し、効率的に高性能モデルを開発できる本手法は、多くの企業から注目を集めそうだ。
同社は今後も研究開発を進め、「より高度な基盤モデルの自動構築を目指し、進化的アルゴリズムとAIモデルを組み合わせた研究で世界をリードしていきたい」としている。
