700億サイズの金融業界（銀行・証券・保険領域）特化型の大規模言語モデル（LLM）パラメーターを公開　～「ConoHa byGMO」が提供する最新GPU「NVIDIA H100」を利用～

株式会社GenerativeX
Llama2をベースに、金融業界の知識をファインチューニングにより補完

株式会社GenerativeX（所在地：東京都渋谷区、以下GenerativeX）は、金融業界向けに開発した独自の大規模言語モデル（以下LLM）のファインチューニングパラメーターを公開します。



■ 取り組みの概要
金融業界においては、様々な定量情報を正確に扱う必要があるため、高性能なLLMが必要不可欠です。しかし、ChatGPTのような性能の高いLLMでは社外へとデータを送信する必要があり、センシティブな情報を扱う金融業界ではLLMの活用が限定的であるという課題がありました。
そこでGenerativeXでは、オープンソースでも最大規模の700億パラメータを誇るMeta社のLlama2モデルに対して、金融業界の知識をファインチューニングにより補完することで、金融領域における高い性能を持ちながらもオンプレミスでの運用が可能な独自のLLM（LoRAアダプター）を開発・公開致しました。
https://huggingface.co/generativex/Finance-Llama-2-70b-chat_LoRA

■ 金融業界特化型の大規模言語モデルに関して
オープンソースモデルの中でも最大規模のLlama2（Llama-70B）をベースとし、金融領域に特化したパブリックなデータセットを用いたファインチューニングを行いました。モデルの学習には、LoRAや量子化などの技術と、高性能GPUを利用することで、短期間で効率的に実施することが可能となりました。このモデルは、一般的なLLMに比べて金融関連の質問への回答精度が向上しました。
今後も、銀行、証券、保険など金融領域に特化したユースケースに対応したモデルの開発を進めて参ります。

■ 金融業界の独自性とモデルの強みに関して
金融業界において、単純な数値の解析や取り扱いだけでなく、その数値から具体的なビジネス上の示唆や戦略的洞察を導き出す能力が求められます。この点を考慮してGenerativeXは、金融業界の特性を理解し、そのニーズに応える形でファインチューニングを施したモデルを開発しました。
具体的には、図のように、数値から金融業界特有の示唆や解釈を生成する能力を持たせることで、実務における意思決定の支援やビジネスの高度化に寄与いたします。

■ 開発環境に関して
本モデルの開発は、NVIDIA社の最新GPU「NVIDIA H100 Tensor コアGPU (以下 NVIDIA H100」)を利用して実施されました。これは、GMOインターネットグループ株式会社が2023年8月より国内ホスティング事業者としては初めて（※）「NVIDIA H100」を利用できるGPUホスティングサービスとして提供を開始した「ConoHa byGMO」のトライアル版に弊社が採用されたことで実現しました。「NVIDIA H100」は、旧来のGPUに比べてより高速な処理能力を発揮するため、大量の計算資源を必要とするLLMの学習・推論を短時間で行うことが可能となります。弊社では今後も、国内で最も早く「NVIDIA H100」を利用できるサービスをリリースした「ConoHa byGMO」のサービスを活用しモデルの開発等を進めて参ります。
（※）2023年9月26日時点　GMOインターネットグループ株式会社調べ
https://www.conoha.jp/ai/teaser/

■会社概要
会社名：株式会社GenerativeX
代表者：代表取締役CEO　荒木れい
所在地：東京都港区虎ノ門二丁目2番1号 住友不動産虎ノ門タワー2F
設立年月：2023年6月
コーポレートページ：https://gen-x.jp