国立情報学研究所 （NII） の大規模言語モデル研究開発センター（LLMC）は、2024年12月24日、約1720億パラメータのLLM「llm-jp-3-172b-instruct3」を一般公開した。「学習データまで含めすべてオープンなモデルとしては世界最大規模」としている。
約1,720億パラメータ(GPT-3級)の大規模言語モデルを2.1兆トークンの学習データを用いてフルスクラッチで学習し、指示チューニングを施したモデルを「llm-jp-3-172b-instruct3」として公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。https://t.co/ebFhmrA8yP
— LLM勉強会（LLM-jp） (@llm_jp) December 24, 2024
●llm-jp-3-172b-instruct3（Hugging Faceにて公開）
https://huggingface.co/llm-jp/llm-jp-3-172b-instruct3
llm-jp-3-172b-instruct3は、約2.1兆トークンの学習データを用いてフルスクラッチで学習されており、学習データまで含めすべてオープンなモデルとしては世界最大規模だという。日本語理解能力を測るベンチマーク「llm-jp-eval」などでは、OpenAIのGPT-3.5を超える日本語性能を達成している。
計算資源としては、経済産業省・NEDOのGENIACプロジェクトの支援によるクラウド計算資源（グーグル・クラウド・ジャパン）を利用して、約0.4兆トークンまで事前学習。その後、文部科学省の補助金により調達したクラウド計算資源（さくらインターネット）を利用して、約2.1兆トークンまでの事前学習及びチューニングを実施している。
事前学習には、WebアーカイブCommon Crawl（CC）から抽出・フィルタリングした日本語テキストや、国立国会図書館インターネット資料収集保存事業（WARP）で収集されたWebサイトを基にクロールしたデータ、日本語Wikipedia、KAKEN（科学研究費助成事業データベース）における各研究課題の概要テキストなどが用いられている。その他にも、英語や他言語、プログラムコードなどが学習に利用された。
本記事はアフィリエイトプログラムによる収益を得ている場合があります
