アップルは4月24日、軽量なAIモデル「OpenELM」を、AIプラットフォーム「HuggingFace」で公開した。
「layer-wise scaling（レイヤーごとのスケーリング戦略）」という手法を用いて、自然言語処理に使うTransformerのパラメーター数をレイヤーごとに効率的に割り当てることで、精度を向上させているという。270M（2億7000万）、450M（4億5000万）、1.1B（11億）、3B（30億）の4つのパラメーター数のモデルが用意されており、ベンチマークテストでは、パラメーター数が同程度の他のモデルよりも高い成績を記録したとする。
AIモデルの事前学習には、「RefinedWeb」「重複を排除したThe Pile」「RedPajamaサブセット」「Dolma v1.6サブセット」を含む、合計1兆8000億トークンのデータセットが使われている。
安全性に関する保証はなく、ユーザーのプロンプトに応じて不正確、有害、偏った内容など、問題のある出力を生成する可能性も捨てきれない状態だ。アップル側も本モデルの使用に際し、ユーザーと開発者が徹底的な安全性テストを実施し、特定の要件に合わせた適切なフィルタリングメカニズムを実装することが不可欠としている。
今回公開されたOpenELMは、パラメーター数の少ないモデルであれば、「iPhone」への搭載も十分可能なサイズ。今後、同社がOpenELMをベースとした軽量AIをiPhoneや「iPad」といった自社製品に搭載することもあり得ない話ではなさそうだ。
