イーロン・マスク氏が率いるXの関連会社xAIは11月5日（現地時間）、GPT-3.5やClaude-2に匹敵する性能を持った独自の大規模言語モデル（LLM）「Grok-1」および、同モデルを使用したAIチャットシステム「Grok」を発表。米国内の有料ユーザーに向けてベータテストを開始した。
ベンチマークでLLaMa 2やGPT-3.5を凌駕
Grokは、2023年7月「宇宙の本質を理解する」ためにイーロン・マスク氏が設立した新会社xAIによって、「全人類に最大限の利益をもたらすAIツールを構築すること」を目的に開発されたAIツール。
ベースとなるのは4ヵ月に渡りトレーニングされた大規模言語モデル「Grok-1」。
LLMを評価するのに使用されるベンチマーク、HumanEvalコーディングタスクで63.2%、MMLUで73%を達成し、GPT-3.5やInflection-1を含む、同クラスのモデルを上回る結果を示している。
また、ベンチマークに使用される問題を事前に学習していたという可能性を鑑み、データセット収集後の5月末に発表された2023年ハンガリー全国高等学校数学決勝試験の問題を解かせてみたところ、Grokは59％の正解率でGPT-3.5やClaude-2を凌駕したという。（GPT-4は68％）
デリケート（スパイシー）な質問にも回答可能!?
Grokは、Xから取得したリアルタイム知識を持っており、他のほとんどのAIチャットでは拒否されるようなデリケート（スパイシー）な質問にも答えてくれるという。
Example of Grok vs typical GPT, where Grok has current information, but other doesn’t pic.twitter.com/hBRXmQ8KFi
— Elon Musk (@elonmusk) November 5, 2023
イーロン・マスク氏は自身の投稿で、Grokが「イーロン・マスクがジョー・ローガン（ポッドキャスター）に最後にインタビューされたのはいつ？」「その時ローガンが着ていた服は？」という最新のXの投稿を見ないとわからない質問に正しく答えている様子を示している。
なお、GrokはSF小説の古典「銀河ヒッチハイク・ガイド」をモデルに少しウィットに富んだ回答をするよう設計されているという。リリースにも「ユーモアが嫌いな人は使わないでください」と明記されており、他のAIチャットと回答ポリシーが少し異なることが期待されている。
今後もxAIはベータテストを継続しフィードバックを取得しながら、監視システムの向上、推論と安全性の検証、長い文章の理解と検索、攻撃に備える堅牢性、マルチモーダル機能などの研究を続けていくという。
なお、すぐに利用することはできないが、ウェイティングリストの登録は可能になっている。
