日本企業のシステム停止による年間損失は1471万ドル ― 最新オブザーバビリティレポートも公開
New Relic、生成AIアプリのパフォーマンスや品質、コストを最適化する新APM
2023年12月07日 10時00分更新
生成AIアプリケーションのパフォーマンスや品質、コストを最適化する「New Relic AI Monitoring」
日本で生成AIの熱が高まる中、New Relicが新たに展開するのが、同社のAPM（アプリケーションパフォーマンス管理）をAIアプリケーションに拡張した「New Relic AI Monitoring（AIM）」だ。
New RelicではAIに対して2つのアプローチをとっている。
1つ目は、同社のソリューション自体にAIの機能を取り入れて、ユーザー体験を強化するというアプローチ。2023年5月に発表したNew Relic Grokは、AIアシスタントが自然言語を介してオブザーバビリティを支援する。また、運用管理をAIで最適化する取り組みも続けてきた。
2つ目が、ユーザーが活用するAIサービスやシステムを可視化・観測し、運用管理するアプローチで、新機能のNew Relic AI Monitoringがこれにあたる。
New RelicのAIに対する2つのアプローチ
なぜAIアプリケーションを対象にするかというと、AI活用の関心が高まる一方で、AIのリスク管理も同様に注目を集めているからだ。
このギャップについてNew Relicの執行役員 CTO 松本大樹氏は、「実際にAIを利用した際に、AIの挙動が見えない、何が起こっているか分からないため、リスクが計算できず、ブラックボックス化しているのが要因。これを解決するために、New Relic AI Monitoringをリリースした」と説明する。
New Relic 執行役員 CTO 松本大樹氏
New Relic AI Monitoringは、AIアプリケーション向けのAPMであり、AIを活用したアプリケーションを可視化し、アプリケーションのパフォーマンスや生成AIの回答などの品質、そしてコストを最適化する。
AIアプリケーションは、ユーザーからの入力（プロンプト）を受けて、学習された結果に基づき回答を返すのが大まかな流れとなるが、この一連のライフサイクルをエンドツーエンドで追跡し、どのくらいのスピードで回答できているのか、回答内容が妥当なのか、適切なコストで運用できているかを可視化する。
パフォーマンスやコストの面で、どのAIモデルがアプリに適しているかも単一のビューで確認でき、AIエコシステムを形成する50以上のコンポーネントとも連携する。
New Relic AI Monitoring
APMのカバー範囲をAIアプリ特有の領域まで拡げる
これにより、従来なかった技術要素である大規模言語モデル（LLM）やベクトルデータベースなどのパフォーマンスを保ち、問題視されつつあるモデルやリソースのコストも、適切かどうか見極めることができる。また、ハルシネーションの問題も、品質管理で把握できる。
New Relic コンサルティング部 兼 製品技術部 部長 齊藤恒太氏は、「ブラックボックスで何もわからないという状態から抜け出し、詳細を管理をして、説明可能な状態にした上で、リスクコントロールをすることが今後重要になる」と説明する。
New Relic コンサルティング部 兼 製品技術部 部長 齊藤恒太氏
実際のNew Relic AI Monitoringの画面では、ダッシュボードで、AIアプリケーションの応答性能や回答の質、コストなどの指標を一元的に把握することができる。どれくらいのユーザーが利用して、どのユーザーがどういった質問をしているかも分析でき、意図しない利用への対処にもつなげられる。
回答に対して適切な速度で返せているかどうか、回答に対してどれくらいコストがかかっているかも確認でき、応答時間が遅い場合には、従来のAPMと同様に、AIアプリケーションのどの部分で時間がかかっているのか、ボトルネックエラーの原因箇所を辿っていける。
上部に可用性のための重要指標が並ぶ、下部ではAIの実際の回答が表示され、品質改善につなげられる
アプリを利用するユーザーの把握、モデルごとのパフォーマンスも確認可能
ゲーミフィケーションでオブザーバビリティスキルを高めるGame Day
New RelicがAIに加えて注力するのが、オブザーバビリティエンジニアの育成だ。
同社は、日本法人の発足当初から「オブザーバビリティを民主化する」ことを目標に、2025年に5万人以上のオブザーバビリティエンジニアを育成するミッションを掲げている。そのために、オブザーバビリティの知見を持つ認定エンジニアとの連携や、ユーザーグループの活性化支援、技術コミュニティへの貢献、認定試験の展開など、さまざまな取り組みを続けてきた。
2025年までに5万人以上のオブザーバビリティエンジニアを育成
同社の新たな支援が、オブザーバビリティに特化したGame Dayの展開だ。日本チームが独自に開発しており、リスクのない環境下で、ゲーム化したシステム分析やトラブルシューティングの訓練ができるという。松本氏は、「New Relicとして定期的に開催していくのに加えて、アセットを提供して企業やパートナーで実施してもらうことも考えており、ゆくゆくは日本全国でGame Dayが開催されることを目指したい」と語った。
オブザーバビリティに特化したGame Day、日本チームが開発
