アップルのAI、「Apple Intelligence」がiPhoneやMacを変える！ 「WWDC24」特集 第16回

アップルのAIがすごいところを技術的に見る。速度と正確性の両立がポイント

　アップルは6月10日（現地時間）、世界開発者会議（WWDC24）の基調講演において独自のAI機能「Apple Intelligence」を発表した。

　同時にOpenAIとの提携も発表されたため一部混乱が見られたが、Apple Intelligenceには正真正銘、アップル謹製の基盤モデルが使われている。

　ここではアップルが同日に公開した「Introducing Apple’s On-Device and Server Foundation Models」という技術資料を元に、アップル製AIモデルの技術的側面について見ていくことにする。

クラウドとオンデバイスで2種類のモデルを使用

　Apple Intelligenceは、テキスト生成や添削、通知の管理、画像の作成、アプリの使用など、さまざまなタスクに役立つように特別に設計された2つのAIモデルを使用している。

　1つはMacやiPhoneといったデバイス上で実行される約30億パラメーターの小型で効率的なモデル（以下デバイスモデル）。もう1つはより複雑なタスクのためにAppleのサーバー（Private Cloud Compute）上で実行されるより大型のモデル（以下サーバーモデル）だ。

　なお、アップルはこの2つのモデル以外にもアプリ開発者向けのコーディングモデルや、画像生成モデルなど他のAIモデルも開発しており、近日中に詳細を共有する予定だという。

フィルタリングされた高品質なデータで事前＆事後トレーニング

　それではモデルの開発方法について見ていこう。

　事前トレーニングにはアップルがオープンソースで公開している「AXLearn」という独自のフレームワークを使用している。

　トレーニングデータは、ライセンス契約を結んだものおよび「AppleBot」が収集した公開データを使用しているが、サイト運営者はアップルが自社のコンテンツをAIのトレーニングに使用することを拒否できる仕組みも用意されている。

　また、ユーザーの個人情報や操作履歴は一切使用せず、個人を特定できる情報はフィルタリングで除去されている。さらに、不適切な表現や低品質なコンテンツもフィルタリングされ、高品質な文書のみを使用してトレーニングされたという。

　事後トレーニング用には、人間が作成したデータと人工的に生成したデータを組み合わせ、さらに厳密なデータ選別とフィルタリングをすることで、質の高いデータセットを構築。

　さらに、「教師委員会」と呼ばれる複数のモデルを用いた「リジェクションサンプリング」および「人間のフィードバックを基にした強化学習（RLHF）」という手法により、 モデルは指示により忠実に従い、より高品質な結果を出力できるようになったという。