Preferred Networks（プリファード・ネットワークス、PFN）は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。
Preferred Networks（プリファード・ネットワークス、PFN）は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。 深層ニューラルネットワークの基本構造は、メタAI（Meta AI）が開発した「LLaMA（Large Language Model Meta AI）」を踏襲し、今後の拡張に備えて手を加えたものを採用した。学習用データはオープン・データセットを基にPFNが独自に収集・加工した、1.4兆トークンの日英2言語のデータセットを使用。産業技術総合研究所の「AI橋渡しクラウド（ABCI）」を利用し、エヌビディアのGPU「A100」480基で1カ月弱の学習を実施したという。 ベンチマーク・テストでは、日本語能力では東京大学の松尾研究室が公開した「weblab-10B」を超え、英語能力ではMata AIの「LLaMA-2 7B」と同程度という結果が出た。この結果からPLaMo-13Bは、日本語を学習した大規模言語モデルの性能としてはトップ級で、他の日本語モデルに比べて優れた英語能力を持つとしている。 PFNは今後、PLaMo-13Bを基にした事前学習モデルや、指示学習させたモデルも公開する予定だ。（笹田）
