このページの本文へ

Fastlyの応答最適化ソリューションが一般提供開始

ChatGPTの応答速度が9倍に コード1行の追加でAIを高速化

2025年02月04日 11時00分更新

文● 福澤陽介/TECH.ASCII.jp

  • この記事をはてなブックマークに追加
  • 本文印刷

 ファストリー(Fastly)は、2025年1月20日、生成AIアプリケーションの応答を最適化するセマンティックキャッシュソリューション「Fastly AI Accelerator」の一般提供を開始した。

 Fastly AI Acceleratorは、LLM(大規模言語モデル)の応答をキャッシュして、生成AIアプリケーションのパフォーマンス向上とコスト削減を実現するソリューション。LLMに対する過去の類似したプロンプトに対して、Fastlyのキャッシュが回答を返すことで、応答を高速化して、APIコールの使用量を減らすことができる。

 セマンティックキャッシュの技術を用いることで、自然言語で書かれたプロンプトにおいても、意味的に類似した問い合わせに対してキャッシュを利用できる。

 実装方法は、アプリケーションのAPIエンドポイントを更新して、わずか1行コードを変更するだけ。Fastlyの検証では、同ソリューションを利用することで、応答時間が平均9倍速くなったという。

 ベータ版では、OpenAIのChatGPTで利用できたが、一般提供にあわせて、MicrosoftのAzure AI Foundryにも対応している。

カテゴリートップへ

  • 角川アスキー総合研究所
  • アスキーカード