国立情報学研究所（NII）は、130億パラメーターの大規模言語モデル「LLM-jp-13B」を公開した。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。
国立情報学研究所（NII）は、130億パラメーターの大規模言語モデル「LLM-jp-13B」を公開した。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。 LLM-jp-13Bはパラメーター数が130億で、約1450億トークンの日本語コーパス、約1450億の英語コーパス、約100億トークンのプログラムコードで学習させた。学習にはデータ活用社会創成プラットフォームmdx（エヌビディアのGPU「A100」96基）を使用し、モデル構築にはマイクロソフト・リサーチが開発したDeepSpeedを利用した。 現時点では開発初期段階であり、モデルの性能を示す評価値は国内で公開された他のモデルと同程度だとしている。NIIは今後、産業技術総合研究所（産総研）や東京工業大学と協力して世界トップ級のLLMの構築を進めるとしており、産総研のAI橋渡しクラウド（ABCI）を利用して1750億パラメーターの大規模言語モデルの構築に着手しているという。1750億パラメーターはオープンAI（OpenAI）のGPT-3に匹敵する規模となる。（笹田）
