OpenAIは8月22日（現地時間）、同社の開発する大規模言語モデル「GPT-3.5 Turbo」の微調整（fine-tuning）機能をリリース。これにより、開発者は独自のデータを持ち込んでモデルを個々のユースケース向けにカスタマイズできるようになる。
能力が大幅向上
微調整とは、機械学習モデルのトレーニング手法のひとつで、すでに大量のデータで訓練されたモデル（事前訓練モデル）を、特定のタスクや新しいデータセットに適応させるために追加のトレーニングを行うことを指す。
OpenAIによると、微調整が施されたGPT-3.5-Turboでは、これまでの2倍となる4000トークンを扱うことができ、プロンプトエンジニアリングや関数呼び出しのような他の技術と組み合わせることで能力をさらに高めることができるという。
また、初期テストの結果から、GPT-3.5 Turboを微調整することで、特定のタスクにおいてGPT-4のベースモデルに匹敵、または上回る可能性があることもわかった。さらに、必要なプロンプトの長さが最大90%短縮され、より高速で安価なAPIコールが可能になったという。
今年後半には、関数呼び出しと「gpt-3.5-turbo-16k」のファインチューニングもサポートする予定。
微調整によって得られる効果
本モデルのベータバージョンでいち早くモデルの微調整を実施したユーザーからは、下記のようなパフォーマンスの向上が報告されている。
・操縦性の向上
微調整により、従来よりも指示に忠実な出力を期待できる。例えば、ドイツ語によるプロンプトには確実にドイツ語で応答したり、無意味に長い出力を抑制したりといったことができる。
・信頼性の高い出力フォーマット
微調整はモデルが指定されたフォーマットで出力する能力を向上する。これはコード補完やAPIコールなど、特定のレスポンスフォーマットを要求するアプリケーションにとって重要な点だ。
開発者は微調整によって、ユーザーからのプロンプトをシステムで使用できる高品質のJSONスニペットに変換できる。
・カスタムトーン：
微調整により、モデルのトーンとボイスをビジネスのブランドアイデンティティに合わせた一貫したものに変えることができる。
安全性を最優先
微調整プロセスを通じてモデルの安全機能を維持するために、すべてのトレーニングデータは、OpenAIのモデレーションAPIとGPT-4に裏付けされたモデレーションメカニズムを通じて細心の精査を受け、安全でないコンテンツはフィルタリングされる。
また、OpenAIの他のAPIと同様、微調整に使用するデータは顧客が所有するものであり、OpenAIや他の組織が他のモデルのトレーニングに使用することはないという。
使用量はトレーニングと使用で別集計
微調整モデルの価格は、初期のトレーニング費用と使用費用の2つにわかれている。
トレーニング費用は0.008ドル／1000トークン、使用費用は入力が0.012ドル／1000トークン、出力が0.016ドル／1000トークン。
たとえば、10万トークンの学習ファイルで3回学習させた場合、予想コストは2.4ドル（0.008×100×3）となる。
