ELYZA、新日本語LLM「Llama-3-ELYZA-JP-120B」の開発成果を公開
日本語LLMの性能向上に向けた新アプローチ
ELYZAは9月19日、新たな日本語LLM「Llama-3-ELYZA-JP-120B」を発表し、その開発成果を「GENIAC成果報告会」で公表した。
ELYZAは経済産業省およびNEDOが推進する「GENIAC（Generative AI Accelerator Challenge）」の支援のもと、計算資源の提供を受けつつ日本の生成AI開発力強化を目指し、大規模言語モデル（LLM）の研究開発を行ってきた。本プロジェクトは、日本語特有の知識と表現の性能向上を図ることで、国産基盤モデルの社会実装を進めることを目的としている。
新モデル「Llama-3-ELYZA-JP-120B」の構築にあたっては、2つの主要なアプローチが取られた。1つ目は「Depth Up-Scaling」と呼ばれるモデルサイズ拡張アプローチを用いて、既存モデルよりも多くのパラメータを含むことで基礎能力を向上させる方法だ。この方法により、ELYZAは複数のベンチマークテストで「GPT-4(0613)」を上回る性能を実現したという。2つ目は日本特有の知識や表現の特化学習を行うことで、行政手続きや法令など日本固有の情報に対する応答性能を向上させた。
ELYZAの取り組みは、日本市場に最適化されたLLMの開発を通じて、日本の企業や自治体、教育機関など多岐にわたる分野での活用を見据えている。今回の成果発表により、ELYZAは今後もこの分野での革新を続ける意向を表明した。技術的な詳細や知見は後日技術ブログ等を通じて公開予定としている。
「ASCII STARTUPウィークリーレビュー」配信のご案内
ASCII STARTUPでは、「ASCII STARTUPウィークリーレビュー」と題したメールマガジンにて、国内最先端のスタートアップ情報、イベントレポート、関連するエコシステム識者などの取材成果を毎週月曜に配信しています。興味がある方は、以下の登録フォームボタンをクリックいただき、メールアドレスの設定をお願いいたします。
