ファストリー（Fastly）は、2025年1月20日、生成AIアプリケーションの応答を最適化するセマンティックキャッシュソリューション「Fastly AI Accelerator」の一般提供を開始した。
Fastly AI Acceleratorは、LLM（大規模言語モデル）の応答をキャッシュして、生成AIアプリケーションのパフォーマンス向上とコスト削減を実現するソリューション。LLMに対する過去の類似したプロンプトに対して、Fastlyのキャッシュが回答を返すことで、応答を高速化して、APIコールの使用量を減らすことができる。
セマンティックキャッシュの技術を用いることで、自然言語で書かれたプロンプトにおいても、意味的に類似した問い合わせに対してキャッシュを利用できる。
実装方法は、アプリケーションのAPIエンドポイントを更新して、わずか1行コードを変更するだけ。Fastlyの検証では、同ソリューションを利用することで、応答時間が平均9倍速くなったという。
ベータ版では、OpenAIのChatGPTで利用できたが、一般提供にあわせて、MicrosoftのAzure AI Foundryにも対応している。
本記事はアフィリエイトプログラムによる収益を得ている場合があります
