マイクロソフトとのパートナーシップを拡大

メタ、ChatGPT（3.5）級のチャットAIモデル「Llama 2」オープンソースで公開

2023年07月19日 14時50分更新

文● 田口和裕

　メタは7月18日（現地時間）、同社が開発する大規模言語モデル「LLaMA 1」の後継となる「Llama 2」を発表、メタが用意するフォームに記入して申し込むことで基本無料で全モデルをダウンロードできるようになる。

　同日にはマイクロソフトのサティア・ナデラCEOがイベント「Microsoft Inspire 2023」において、AI分野におけるメタとのパートナーシップを拡大。Llama 2を、Microsoft AzureとWindowsでサポートすることを発表した。

事前学習に使用した言語分布によると日本語は苦手かも

「Llama 2」ラインナップ

「Llama-2-chat」モデルの開発プロセス

　モデルのサイズは70億、130億、700億パラメーターの3種類が用意されている。いずれもLlama 1の40％増となる2兆トークン（およその単語数）で事前学習され、いちどに読める文脈も4096トークンと2倍になっている

　また、チャット向けに微調整および人間による強化学習された「Llama-2-chat」モデルも用意されている。

事前学習で利用された言語

　気になるのは事前学習に使用された言語の分布、英語テキストが全体の89.7％を占めているのに対して日本語テキストはわずか0.1％。現段階では基本的に英語専用と思ったほうがいいだろう。なお、8.38％を占める「unknown」は大部分がプログラムコードだ。

ChatGPTと同等性能、安全性では勝利

他のLLMとの人間による評価結果

　人間によって評価された他のLLMとの性能比較では、OpenAIの「ChatGPT-0301（現在無料版で利用されているGPT-3.5の1つ前のモデル）」とほぼ互角、Googleの「PaLM-Bison」や、FALCON、MPTといった他のオープンソースモデルに対しては大幅に上回る結果になっている。

他のLLMとの人間による安全性比較

　さらに、2000程度の敵対的なプロンプトを入力した際に危険な回答を返す可能性を調査したところ、ChatGPTよりも良好な成績を示した。

Windowsローカルで微調整が可能

　マイクロソフトのナデラCEOが発表したように、メタはマイクロソフトをLlama 2の優先パトナーに指定、パートナーシップを強めることになった。

　Llama 2は本日よりマイクロソフトのクラウドAIプラットフォーム「Azure AI」のモデルカタログに追加され、開発者はLlama 2を使って独自のAIアプリケーションを開発したり、豊富に用意されたフィルタリングや安全機能などのためのクラウドネイティブツールを活用することができるようになった。

　さらに、Llama 2はWindows上でローカルに動作するよう最適化されている。具体的にはGitHub Repo経由でLlama 2にアクセスし、Windows Subsystem for Linuxと高性能GPUによってLLMを微調整できるとしている。ただしGPUの具体的な性能には触れられていない。

　なお、Llama 2はAzure AI以外にも、Amazon Web Services（AWS）、Hugging Face、その他のプロバイダーでも利用可能となっている。