このページの本文へ

LINE、日本語の大規模言語モデルをオープンソースで公開 商用利用も可

2023年08月15日 12時05分更新

文● 田口和裕

  • この記事をはてなブックマークに追加
  • 本文印刷

 LINEは8月14日、36億および17億パラメータの日本語大規模言語モデル「japanese-large-lm(ジャパニーズ ラージ エルエム)」をオープンソースで公開したことを発表した。

約650GBからなる大規模日本語Webコーパスを使用

 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできたが、それと並行して複数の大規模言語モデルの研究開発プロジェクトを進行させていた。

 今回公開されたモデルは36億パラメーターの「japanese-large-lm-3.6b(以下3.6Bモデル)」および17億パラメータの「japanese-large-lm-1.7b(以下1.7Bモデル)」。ライセンスは商用利用も可能なApache License 2.0となっている。

 なお、本モデルの訓練にはLINE独自の約650GBからなる大規模日本語Webコーパスを利用しており、1.7Bモデルの学習にはA100 80GBで換算し、約4000GPU時間を費やしたという。

タスクによっては「Rinna-3.6B」を上回る性能

ベンチマーク結果

 出現する単語をモデルがどの程度正確に予測できたかを計測するPerplexityスコア(PPL)および、質問応答・読解タスクの正解率で評価したところ、1.7Bモデルはサイバーエージェントの「OpenCALM-7B」と同等かタスクによってはよい性能を、3.6Bモデルはrinnaの「Rinna-3.6B」と同等かタスクによってはよい性能を達成可能なことがわかった。

 近日中には、これらのモデルについて、指示文に対して適切な出力を行えるようにチューニング(Instruction tuning)したモデルも公開されるという。

カテゴリートップへ

ピックアップ