メタは7月18日（現地時間）、同社が開発する大規模言語モデル「LLaMA 1」の後継となる「Llama 2」を発表、メタが用意するフォームに記入して申し込むことで基本無料で全モデルをダウンロードできるようになる。
同日にはマイクロソフトのサティア・ナデラCEOがイベント「Microsoft Inspire 2023」において、AI分野におけるメタとのパートナーシップを拡大。Llama 2を、Microsoft AzureとWindowsでサポートすることを発表した。
事前学習に使用した言語分布によると日本語は苦手かも
「Llama 2」ラインナップ
「Llama-2-chat」モデルの開発プロセス
モデルのサイズは70億、130億、700億パラメーターの3種類が用意されている。いずれもLlama 1の40％増となる2兆トークン（およその単語数）で事前学習され、いちどに読める文脈も4096トークンと2倍になっている
また、チャット向けに微調整および人間による強化学習された「Llama-2-chat」モデルも用意されている。
事前学習で利用された言語
気になるのは事前学習に使用された言語の分布、英語テキストが全体の89.7％を占めているのに対して日本語テキストはわずか0.1％。現段階では基本的に英語専用と思ったほうがいいだろう。なお、8.38％を占める「unknown」は大部分がプログラムコードだ。
ChatGPTと同等性能、安全性では勝利
他のLLMとの人間による評価結果
人間によって評価された他のLLMとの性能比較では、OpenAIの「ChatGPT-0301（現在無料版で利用されているGPT-3.5の1つ前のモデル）」とほぼ互角、Googleの「PaLM-Bison」や、FALCON、MPTといった他のオープンソースモデルに対しては大幅に上回る結果になっている。
他のLLMとの人間による安全性比較
さらに、2000程度の敵対的なプロンプトを入力した際に危険な回答を返す可能性を調査したところ、ChatGPTよりも良好な成績を示した。
Windowsローカルで微調整が可能
マイクロソフトのナデラCEOが発表したように、メタはマイクロソフトをLlama 2の優先パトナーに指定、パートナーシップを強めることになった。
Llama 2は本日よりマイクロソフトのクラウドAIプラットフォーム「Azure AI」のモデルカタログに追加され、開発者はLlama 2を使って独自のAIアプリケーションを開発したり、豊富に用意されたフィルタリングや安全機能などのためのクラウドネイティブツールを活用することができるようになった。
さらに、Llama 2はWindows上でローカルに動作するよう最適化されている。具体的にはGitHub Repo経由でLlama 2にアクセスし、Windows Subsystem for Linuxと高性能GPUによってLLMを微調整できるとしている。ただしGPUの具体的な性能には触れられていない。
なお、Llama 2はAzure AI以外にも、Amazon Web Services（AWS）、Hugging Face、その他のプロバイダーでも利用可能となっている。
マイクロソフトは両取りを目指す
OpenAIの「GPT-3」やグーグルの「PaLM 2」といった高性能商用LLMと同等の性能を有するLlama 2がオープンソースかつWindowsで動作する形で公開されたという事実はとても大きい。
なぜなら、現状生成AI関連の開発には高性能LLMを動かすための膨大なコストがかかるため、資金に限りがあるスタートアップなどには参入のための障壁が高かったからだ。
論文にはLlama 2が「may be a suitable substitute for closed source models（クローズドソースモデルの最適な代替品になるだろう）」と、明確にOpenAIを意識して書かれた文言もあった。
両社の発表直後にはナデラCEOとザッカーバーグCEOがメタの新SNSアプリ「Thread」上でエールを交換しあう姿も見られた。
とは言えマイクロソフトは競合のOpenAIとも親密な関係を継続している。プロプライエタリとオープンソースのどちらが主流になるかはまだわからないが、どちらにも手を付けておこうという考えだろう。いずれにせよユーザーから見れば選択肢が増えるのは歓迎すべきことだろう。
