実用に最適化された軽量型の大規模言語モデル「LHTM-OPT」が国内最高性能を記録

　オルツは10月19日、小規模GPUマシンで実用的な、パラメーター数が最適化された新たな大規模言語モデル「LHTM-OPT（ラートム・オプト）」を開発し、日本語商用プライベートLLM（大規模言語モデル）として最高性能を記録したことを発表した。

※国内最高・最高性能：「Rakuda」LLMベンチマークによる評価で、国内の大規模言語モデルの中での比較として国内トップ性能を達成（2023年10月19日時点。自社調べ）

　大規模パラメーターの大規模言語モデルは膨大な計算リソースとエネルギーを必要とするため、環境に対する負荷の増大が懸念される。そのため、現在は軽量でありながら大規模モデルと同等の精度を実現するための小規模パラメーターモデルの研究が活発化。このアプローチは、大規模言語モデルから重要な知識を抽出して、新たに有用なモデルを開発することから「知識蒸留」と表現されており、計算リソースの削減やエネルギー効率の向上に寄与する試みとなる。

オルツは、この社会課題を解決する生成AIの開発に積極的かついち早く取り組みはじめ、小規模パラメーターモデルである「LHTM-OPT」の開発に成功した。

　同社が提供する大規模言語モデル「LHTM-2」は、パラメーター数が膨大で調整の自由度が非常に高く設定されている。それに対して、LHTM-OPTは、そのパラメーターを小規模GPUマシンでも実行可能であり、実用に最適化された軽量型モデル。

　LHTM-OPTの開発にあたり、同社はオープンデータの学習だけでなく、独自の指示データや対話データのデータセットを作成し、精度を改善。そして、YuzuAIグループが出した日本語LLMを評価するRakudaベンチマークでは、LHTM-OPTの評価スコアが1152になり、2023年10月19日時点で日本国内で最高レベルに達したという。

　日本語言語理解ベンチマーク「JGLUE（Japanese General Language Understanding Evaluation）」8タスク平均においても、商用モデルとして国内最高スコア56.12を記録した（「LHTM-OPT」のJGLUE 主要4タスク平均のスコアは75.08となる）。10Bパラメーター未満においてそれぞれのスコアを実現したことは、グローバルレベルにおける同社の技術力の高さを示しているものと考えられる。

　今後も継続してさまざまなベンチマークで評価し、モデルをブラッシュアップすることでLHTM-OPTの性能と汎用性を向上させ続けるとともに、本モデルを基盤として自動質問応答、議事録自動要約、情報抽出、会話理解、予測分析のデータ整理・作成などの高度な処理が必要な問題に対応可能な多くのアプリケーションを実装していくという。

軽量版大規模言語モデルが高精度を実現した意義とクライアントへの価値提供の可能性

意義：軽量かつ高精度を実現する国内最高レベルの「知的蒸留」技術

　今回の「知的蒸留」を含めた学習と評価過程において、同社はデータ企画から作成、GPUリソースの評価・確保、学習プロセス最適化など一貫した企画・技術開発・運用を実践している。その結果として、軽量かつ高精度なモデルを実現することで、より実践的な生成AIプロダクトの基盤構築に対するオルツ技術の高い品質を証明する。

提供価値：カスタマイズ容易性

　同社のクライアントは、今回開発した軽量かつ高精度なモデルを専門分野でファインチューニングが可能。金融や製薬、製造、不動産など様々な分野固有の情報をベースにカスタマイズすることで、パラメーター数が圧倒的に多いLLMと同等の回答精度を保持しながら専門性を持たせることが可能となる。

提供価値：GPUコストの節約

　同社のクライアントは、大規模言語モデルを基盤としたサービスを構築する際に課題となるランニングコストについても最適化される。軽量かつ高精度なモデルを運用することで、継続して活用する際のコスト対効果を最大化することが可能となる。

　同社は、世界水準の技術で「アジアにおけるOpenAI」の地位確立を目指すとともに、顧客へ最高品質のソリューションを提供することで、日本企業の労働生産性向上に資する取り組みを推進していくという。

　LLMを活用したプロジェクトについてはのアライアンス窓口はこちら。

　オルツは、P.A.I.（パーソナル人工知能）、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業。また、AIの対話エンジンの開発から生まれた音声認識テクノロジーを活用した「AI GIJIROKU」などのSaaSプロダクトを開発・提供している。