イーロン・マスク氏が率いるXの関連会社xAIは3月17日（現地時間）、同社が2023年11月5日（現地時間）に発表した）、GPT-3.5やClaude-2に匹敵する性能を持った独自の大規模言語モデル（LLM）「Grok-1」の重みとアーキテクチャーを、マスク氏のXへの投稿どおりオープンソース（Apache-2.0 license）で公開した。
3140億パラメーターを持つMoEモデル
「Grok-1」は、3140億のパラメータを持つMixture-of-Experts（MoE）というアーキテクチャを採用したモデル。大量のテキストデータで学習されたベースモデルだが、ファインチューニング前のため、そのままではChatGPTのようにチャット形式で利用することはできない。
MoEには、複数の「エキスパート」と呼ばれる独立したニューラルネットワークが存在し、各トークンに対して最も適切なエキスパートが選択されて、処理される。これにより、すべてのパラメータを常に使用する必要がなくなり、計算効率が向上するという。
マスク氏の宣言通りオープンソース（Apache 2.0ライセンス）でGitHubにて公開されるため、商用・非商用を問わず、誰でも自由に使用、変更、配布することができる。
「░W░E░I░G░H░T░S░I░N░B░I░O░」とは？
公開に遡ることおよそ1週間前の3月11日、イーロン・マスク氏は「This week, @xAI will open source Grok（今週Grokをオープンソース化する）」とXに投稿、それに答える形で本日（18日）、「Grok」公式アカウントが「░W░E░I░G░H░T░S░I░N░B░I░O░」とXに投稿した。「WEIGHTS IN BIO（重みはBioに）」という意味だろう。
「重み」とはモデルのパラメータを指し、モデルが学習によって獲得した知識を表現したものだ。
実際「Grok」アカウントのBio（プロフィール）に書かれたアドレスにアクセスすると、
巨大な重みファイル（Checkpoint）がダウンロード可能な状態になっている。とはいえ、3140億のパラメータを持つ巨大モデルなので利用できる環境も限られてくるだろう。
なお、「░W░E░I░G░H░T░S░I░N░B░I░O░」は「Weights in Billions（数十億の重み）」という解釈もできる。
OpenAIを煽り散らかすマスク氏
Grokの公開を受け、ChatGPTの公式アカウントが「stole my whole joke（ジョークを盗んだな？）」と反応すると、マスク氏は間髪入れず「Tell us more about the “Open” part of OpenAI …（OpenAIのオープンな部分を教えてくれよ）」と応酬。マスク氏のOpenAIに対するフラストレーションは相当なものだとうかがえる。
