メタは1月29日（現地時間）、コード生成に特化した大規模言語モデル「Code Llama」ファミリーの最新かつ最高のパフォーマンスを誇るモデル「Code Llama 70B」を発表した。
「Llama 2」や他のCode Llamaファミリーと同様、研究および商用に無料で利用できる。
コードに特化したデータセットで訓練
Today we’re releasing Code Llama 70B: a new, more performant version of our LLM for code generation — available under the same license as previous Code Llama models.
— AI at Meta (@AIatMeta) January 29, 2024
Download the models ➡️ https://t.co/fa7Su5XWDC
• CodeLlama-70B
• CodeLlama-70B-Python
• CodeLlama-70B-Instruct pic.twitter.com/iZc8fapYEZ
Code LlamaはLlama 2のコードに特化したバージョン。
Llama 2をコードに特化したデータセットでさらに訓練し、データセットからより多くのデータをより長くサンプリングすることによって作成された。
Llama 2の上に構築された強化されたコーディング機能を備えており、自然言語によるプロンプト（コードも可）から、コードおよびコードに関する自然言語を生成できる。
Python、C++、Java、PHP、Typescript（Javascript）、C#、Bashなど、現在使用されている最も一般的な言語の多くをサポートしている。
同モデルは独自のベンチマークテストにおいてコードの生成で「GPT-4」など最先端の一般公開LLMを凌駕している。
3つのバージョン
Code Llama 70Bは、これまでにリリースされたCode Llamaモデルと同様、基盤となるモデル「CodeLlama - 70B」、Pythonに特化した「CodeLlama - 70B - Python」、自然言語命令を理解するために微調整された「CodeLlama - 70B - Instruct」の3つのバージョンが提供される。希望者には専用の申込みフォームが用意されている。
