年次イベント「DASH 2025」ではおよそ80の新機能を発表、AI/LLM関連機能も大幅強化

Datadogの最新機能、注目すべきはどれ？ Datadog Japan社長とIVRy、newmoが語る

IVRy：音声AIサービスを展開、「LLM Observability」を活用

IVRyのWebサイト（https://ivry.jp/）

　現在注目が集まっているAI分野に関して、正井氏は、日本企業におけるAIの取り組みは「グローバルと比較しても、遅れているという印象はない」「これまでは実験的な使い方が多かったが、少しずつスケールしており、独自のAIモデルを構築するお客様も出てきている」と語る。本格的なAI活用をスタートしている企業も少なくないようだ。

　その1社がIVRy（アイブリー）だ。コールセンター向け対話型音声AIサービス「IVRy」を、SaaSとして提供しており、これまで扱った着電数は4000万件以上に上るという。従来はインフラの運用でDatadogを活用してきたが、LLMについてもオブザーバビリティの必要性を感じ、Datadogの「LLM Observability」を試験的に導入している。IVRyでAIエンジニアを務める森谷浩幸氏は、DASHでこの取り組みを紹介するセッションも行った。

IVRyの音声ソリューション

　IVRyでは、レストランやホテル、クリニックなどでの予約／問い合わせの電話応対を、AIで自動化するサービスを提供している。OpenAI、Geminiなど複数のLLMを用いているが、ハルシネーションに代表される回答品質の問題のほか、LLMのサイレントアップデートによる回答のばらつき、処理のたびに変化する応答速度の不安定さといった課題を抱えており、商用サービスで利用するには“完璧”ではない。

　そこで同社では、エンジニアリング面での工夫を凝らしていると、森谷氏は説明する。たとえば、タスクを分割したうえでLLMに処理させ、それぞれのアウトプットをマージして回答にする手法、あるLLMの応答が遅ければ別のLLMに質問を回す手法などを取り入れている。

　そのうえで、実際の顧客業種を想定した会話のシナリオを用意してテストを行っているが、ここでDatadogのLLM Observabilityが役立っているという。

　LLMの応答品質を可視化するLLM Observabilityは、昨年のDASHで一般提供開始となった新しい機能であり、IVRyでは昨年8月ごろから使い始めた。「まだ日本語化もされていなかったが、Datadogはドキュメントが充実しているので、簡単に試すことができた」（森谷氏）。Datadogの担当者によると「世界的に見ても先進的な事例」だという。

　ただし、LLMのインプット／アウトプットを可視化／分析するLLM Observabilityには、プライバシー保護上の懸念もある。そのため、現時点ではまだ本番の通話データではなく、テストデータを送信するにとどまっている。Datadogにはプライバシー保護の機能追加を要望しており、DASHでも直接、開発者にその要望を伝えたそうだ。

IVRyでは「LLM Observability」を活用し、LLMの回答品質を評価している

　IVRyでは、Datadogのアプリケーションパフォーマンス監視製品「Datadog APM」に含まれる「Inferred Services」を使って、LLM APIのトラフィックも監視している。こちらはリクエストの応答速度を監視する機能なので、プライバシー保護を気にする必要がなく、本番環境の監視に使っている。

　今年のDASHで発表された新機能のうち、森谷氏は「LLM Experiments」に期待していると語る。これは複数のLLMにプロンプトを入力し、その応答速度を計測するテストを一括管理できる機能だ。「実験（テスト）では見なければならないこと（監視項目）がたくさんあり、一方で、モデルも頻繁に変わっている。これを使えば実験をうまく管理できそうだ」と述べた。

「LLM Experiments」のデモ画面（画像は公式ブログ記事より）