このページの本文へ

Stable Diffusion開発元も「ChatGPT」対抗、オープンソースの大規模言語モデル「StableLM」発表

2023年04月20日 12時55分更新

文● 田口和裕

  • この記事をはてなブックマークに追加
  • 本文印刷

 画像生成AI「Stable Diffusion」の開発で知られる英Stability AIは4月19日(現地時間)、大規模言語モデル「StableLM」をオープンソースでリリース。アルファ版には30億パラメータと70億パラメータのモデルが用意されており、今後150億パラメータから650億パラメータのモデルも用意される予定。

 開発者は、CC BY-SA-4.0ライセンスの条件に従って、商用または研究目的で、StableLMベースモデルを自由に検査、使用、適応することができる。

少ないパラメーターにも関わらず高性能を発揮

 StableLMは、以前非営利団体のEleutherAIと共同で、GPT-J、GPT-NeoX、Pythiaスイートといった過去の言語モデルをオープンソース化した経験を元に開発された。

 トレーニングには、その際に利用されたオープンソースのデータセット「The Pile」を大幅に拡張(1.5兆トークン)したものを利用している。

 この巨大なデータセットにより、StableLMは、30億〜70億パラメーター(GPT-3は1750億パラメーター)という比較的小さなサイズにもかかわらず、会話やコーディングのタスクで驚くほど高い性能を発揮するという。

HuggingFace上で実行したところ

 

 なお、StableLM(70億パラメーター)は現在HuggingFaceで試すことができる。入出力は英語のみで、テキストやコードを生成できるという。反応はChatGPTと比べてかなり遅い。

 また、StableLMモデルが含まれる「StableLM Suite」には、Alpaca、GPT4All、Dolly、ShareGPT、HHといったオープンソースLLMを使用して微調整された研究用モデルのセットも同梱されている。

 これらのモデルは研究用途に限定されるため、非商用のCC BY-NC-SA 4.0ライセンスで公開される。モデルはすべてStability AIのGitHubリポジトリに公開されており当該ライセンスの元、誰でも自由に使用できる。

 また、クラウドソーシング型のRLHF(人間のフィードバックに基づいた強化学習)プログラムや、「Open Assistant」と連携したオープンソースデータセットの作成なども計画されているという。

AIは大企業に独占させるべきではないと主張

 Stability AIは、「大規模言語モデルはデジタル経済のバックボーンを形成するものであり、その設計において誰もが意見を述べることができるようにしたい」と考えている。

 グーグルやマイクロソフトといった少数のビッグテックの独占的サービス(ChatGPTやBing)に依存するのではなく、広く入手可能なハードウェアと互換性のある独立したアプリケーションを構築するため、オープンソースモデルで開発を続けていくとしている。

 なお、Stability AI日本法人のStablity AI Japanは2月20日、日本語に特化したチャットbot「Stable Chat(日本語版)」を開発するとTwitterで発表しているが、「StableLM」については「今は英語がメインですが、日本語版も頑張ります!」としている。

カテゴリートップへ

ピックアップ