日本企業のシステム停止による年間損失は1471万ドル ― 最新オブザーバビリティレポートも公開
New Relic、生成AIアプリのパフォーマンスや品質、コストを最適化する新APM
2023年12月07日 10時00分更新
生成AIアプリケーションのパフォーマンスや品質、コストを最適化する「New Relic AI Monitoring」
日本で生成AIの熱が高まる中、New Relicが新たに展開するのが、同社のAPM（アプリケーションパフォーマンス管理）をAIアプリケーションに拡張した「New Relic AI Monitoring（AIM）」だ。
New RelicではAIに対して2つのアプローチをとっている。
1つ目は、同社のソリューション自体にAIの機能を取り入れて、ユーザー体験を強化するというアプローチ。2023年5月に発表したNew Relic Grokは、AIアシスタントが自然言語を介してオブザーバビリティを支援する。また、運用管理をAIで最適化する取り組みも続けてきた。
2つ目が、ユーザーが活用するAIサービスやシステムを可視化・観測し、運用管理するアプローチで、新機能のNew Relic AI Monitoringがこれにあたる。
New RelicのAIに対する2つのアプローチ
なぜAIアプリケーションを対象にするかというと、AI活用の関心が高まる一方で、AIのリスク管理も同様に注目を集めているからだ。
このギャップについてNew Relicの執行役員 CTO 松本大樹氏は、「実際にAIを利用した際に、AIの挙動が見えない、何が起こっているか分からないため、リスクが計算できず、ブラックボックス化しているのが要因。これを解決するために、New Relic AI Monitoringをリリースした」と説明する。
New Relic 執行役員 CTO 松本大樹氏
New Relic AI Monitoringは、AIアプリケーション向けのAPMであり、AIを活用したアプリケーションを可視化し、アプリケーションのパフォーマンスや生成AIの回答などの品質、そしてコストを最適化する。
AIアプリケーションは、ユーザーからの入力（プロンプト）を受けて、学習された結果に基づき回答を返すのが大まかな流れとなるが、この一連のライフサイクルをエンドツーエンドで追跡し、どのくらいのスピードで回答できているのか、回答内容が妥当なのか、適切なコストで運用できているかを可視化する。
パフォーマンスやコストの面で、どのAIモデルがアプリに適しているかも単一のビューで確認でき、AIエコシステムを形成する50以上のコンポーネントとも連携する。
New Relic AI Monitoring
APMのカバー範囲をAIアプリ特有の領域まで拡げる
これにより、従来なかった技術要素である大規模言語モデル（LLM）やベクトルデータベースなどのパフォーマンスを保ち、問題視されつつあるモデルやリソースのコストも、適切かどうか見極めることができる。また、ハルシネーションの問題も、品質管理で把握できる。
New Relic コンサルティング部 兼 製品技術部 部長 齊藤恒太氏は、「ブラックボックスで何もわからないという状態から抜け出し、詳細を管理をして、説明可能な状態にした上で、リスクコントロールをすることが今後重要になる」と説明する。
New Relic コンサルティング部 兼 製品技術部 部長 齊藤恒太氏
実際のNew Relic AI Monitoringの画面では、ダッシュボードで、AIアプリケーションの応答性能や回答の質、コストなどの指標を一元的に把握することができる。どれくらいのユーザーが利用して、どのユーザーがどういった質問をしているかも分析でき、意図しない利用への対処にもつなげられる。
回答に対して適切な速度で返せているかどうか、回答に対してどれくらいコストがかかっているかも確認でき、応答時間が遅い場合には、従来のAPMと同様に、AIアプリケーションのどの部分で時間がかかっているのか、ボトルネックエラーの原因箇所を辿っていける。
上部に可用性のための重要指標が並ぶ、下部ではAIの実際の回答が表示され、品質改善につなげられる
アプリを利用するユーザーの把握、モデルごとのパフォーマンスも確認可能
ゲーミフィケーションでオブザーバビリティスキルを高めるGame Day
New RelicがAIに加えて注力するのが、オブザーバビリティエンジニアの育成だ。
同社は、日本法人の発足当初から「オブザーバビリティを民主化する」ことを目標に、2025年に5万人以上のオブザーバビリティエンジニアを育成するミッションを掲げている。そのために、オブザーバビリティの知見を持つ認定エンジニアとの連携や、ユーザーグループの活性化支援、技術コミュニティへの貢献、認定試験の展開など、さまざまな取り組みを続けてきた。
2025年までに5万人以上のオブザーバビリティエンジニアを育成
同社の新たな支援が、オブザーバビリティに特化したGame Dayの展開だ。日本チームが独自に開発しており、リスクのない環境下で、ゲーム化したシステム分析やトラブルシューティングの訓練ができるという。松本氏は、「New Relicとして定期的に開催していくのに加えて、アセットを提供して企業やパートナーで実施してもらうことも考えており、ゆくゆくは日本全国でGame Dayが開催されることを目指したい」と語った。
オブザーバビリティに特化したGame Day、日本チームが開発
本記事はアフィリエイトプログラムによる収益を得ている場合があります
