年次イベント「Datadog DASH 2024」基調講演レポート

Datadog、LLMオブザーバビリティからオンコールまで基盤を多面的に強化

　クラウドの運用監視技術を提供するDatadogは6月25日～26日、本拠地のある米ニューヨーク州で年次イベント「Datadog DASH 2024」を開催した。

　運用管理の対象領域をセキュリティや分析にまで拡大してきた同社だが、今回のイベントでは新たにLLM（大規模言語モデル）に対するオブザーバビリティ機能の一般提供を開始（GA）した。さらに、セキュリティ分野でもオンコール機能を発表するなど、プラットフォームを多面的に強化している。イベント2日目に行われた基調講演の内容をまとめる。

「オブザーバビリティ」「セキュリティ」「ビジネス向けの分析」「インシデント対応」の4分野で大量の発表を行った

新たにLLMを活用するアプリケーションのオブザーバビリティツールを一般提供開始した

「顧客のニーズを見て機能を開発する」Datadogの哲学

　テクノロジーベンダーが自社イベントで行う一般的な基調講演は、トップが登場して来場者に自社のビジョンを伝え、理解を得ることが目的となる。それに対してDatadogのDASHで行われる基調講演では、トップはビジョンを語らない。その代わり、製品担当が次々に登場して淡々と新機能を紹介していくスタイルをとる。今年のDASHでも、そのスタイルが踏襲された。

　まず初めに、Datadogを2010年に共同創業したCEOのオリヴィエ・ポメル氏がステージに立ち、来場者に感謝を伝えた。ポメル氏は、Datadogの哲学を「顧客と一緒に製品を構築すること」だと説明する。「前回のDASH以降、Datadogは顧客とのミーティングを18万7000回行い、これが400以上の新製品と、新機能を含む51万5000のプロダクションリリースにつながった」（ポメル氏）。

　Datadogがカバーする製品分野は、創業時の運用監視からオブザーバリティへ、さらにセキュリティ、開発者、ビジネスユーザー向けの分析へと拡大してきた。ポメル氏は「アプリケーションを完全に観測できるように、クラウドで安全に運用できるように、そしてアクションが取れるようにする。これにより、ビジネスをリーンに、高速に、より良いものにするのに貢献する」と、拡大の方向性を説明する。

Datadogの共同創業者でCEOのオリヴィエ・ポメル（Olivier Pomel）氏

もう一人の共同創業者であり、現在はCTOを務めるアレクシス・ルクオック（Alexis Lê-Quôc）氏

LLMアプリケーションのオブザーバビリティが一般提供開始

　今年のDASHで発表された新機能は大きく4つ、「オブザーバビリティ」「セキュリティ」「ビジネス向けの分析」「インシデント対応」に区分できる。

　オブザーバビリティでは、冒頭で触れた「LLM Observability」がGAになった。LLM Observabilityは、LLMを利用するアプリケーションのモニタリング機能で、AIアプリケーションの開発者や機械学習を扱うエンジニアが、LLMの応答品質を可視化してドリフトや全体の体験を監視し、課題の根本原因を特定できるという。

　同社エンジニアリードのモハメド・アリミ（Mohamed Alimi）氏は、LLMを活用したアプリケーションが本番稼働段階に入り、複数のLLMを組み合わせて使うなど高度化も進んでいると、現在のトレンドを説明する。ここでの課題は、構成が複雑化してトラブルシュートが難しくなること、LLMやAIコンポーネントは挙動の予測が難しくハルシネーションが起きてないかを継続的にモニタリングしなければならないこと、フロントエンドのハッキングや情報漏洩のリスクがあることなどだという。

　LLM Observabilityは、そのような課題の解決を支援するものとなる。

　ライブデモは、LLMを活用したECサイトのチャットボットに関するエラー、ハルシネーションの可能性、応答に要する時間、トークン数、セキュリティ脅威などのデータを、ダッシュボードで表示するところからスタートした。続いて、ハルシネーションを選択して、回答に要した時間、トークンの数、LLMコールの数、使われているLLMの種類、そしてインプットとアウトプットを表示し、リトリーバルスパンにハルシネーションのフラグが立っていることから、さらに調査を進めて、似たような質問でどのような回答をしているのかを調べた。

　その結果、ECサイトの「返品ルール」に関する会話のクラスタでハルシネーションの比率が高いことを見出した。このように、問題を隔離し、原因を分析し、どのぐらいの範囲に問題が及んでいるのかを把握できるという。

　このほかにも、LLMをめぐるセキュリティ脅威からの保護策として、プロンプトハッキングを通じた個人情報や機密情報の漏洩を予防する機能もある。

LLMアプリケーションのトラブルシューティングを支援する新機能

　すでにLLM Observabilityを導入している企業事例として、フィットネスバンドのWhoopが紹介された。同社ではユーザー向けアプリにAIコーチ機能「Whoop Coach」を搭載しており、ユーザーにその日の活動サマリやアドバイス、推奨事項を伝えている。Whoopはこれまで、インフラやハードウェアのパフォーマンス、UI/UXなど、システム全体をDatadogで監視してきたが、このアプリのように製品体験を改善するためにAIの利用機会が増えていることから、LLM Observabilityも導入した。現在はLLMのパフォーマンス、プロンプトのA/Bテストなどで活用しているという。