130億パラメーターの商用利用可能日本語LLM発表

　ELYZAは2023年12月27日、商用利用可能な130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」を開発し、一般公開した。

　本モデルは2023年8月に公開した「ELYZA-japanese-Llama-2-7b」と同様、Metaが開発した英語の言語能力に優れた大規模言語モデルである「Llama 2」に対し日本語による追加事前学習とELYZA独自の事後学習させたモデル。

実際の出力例

　パラメーター数が130億に増加したことに加え、事後学習に使用するデータを更に増強したことで、ELYZA-japanese-Llama-2-7bを上回る性能を実現しているという。ライセンスはLlama 2 Community License に準拠しており、Acceptable Use Policy に従う限りにおいて、研究および商業目的での利用が可能とのこと。

　また、チャット形式のデモをHugging Face hub上で公開。デモを公開するにあたり、vLLMというライブラリーを用いて推論を高速化したという。

「ASCII STARTUPウィークリーレビュー」配信のご案内

ASCII STARTUPでは、「ASCII STARTUPウィークリーレビュー」と題したメールマガジンにて、国内最先端のスタートアップ情報、イベントレポート、関連するエコシステム識者などの取材成果を毎週月曜に配信しています。興味がある方は、以下の登録フォームボタンをクリックいただき、メールアドレスの設定をお願いいたします。