生成AIの嘘や間違いを検知する「AI分析機能(β)」をリリース。AI構築プラットフォームのmiiboで開発したAIの改善効率を大幅に向上

miibo
開発したAIのハルシネーションや誤回答を効率的に検知する「AI分析機能(β)」を有料ユーザー向けに公開。最新の手法を取り入れたAI分析機能を継続強化へ。




【概要】
会話型AI構築プラットフォーム「miibo」を提供する株式会社miiboは、本日、生成AIの嘘や間違いを効果的に検知する「AI分析機能」の有料ユーザー向け一般開放を発表しました。この機能は、生成AIの主要な課題である「ハルシネーション」や誤回答を素早く検知することにより、開発したAIの高速な改善を可能にします。より安全で高精度なAIの開発にお役立ていただけます。

【機能のご紹介】

AIによる分析結果を表示したmiiboの「会話のログ画面」

miiboで作成したAIの会話を確認をすることができる「会話のログ」画面にて、AIの分析結果を閲覧できます。


分析結果には下記が含まれます。

・信頼度 (４段階評価)

与えた前提データ(RAG)の内容と齟齬のある回答をしていないかを判定します。
この判定により、ハルシネーションのリスクがないか検知できます。

・解決予測(5段階評価)

AIに話しかけたユーザーの抱える課題を本当に解決する回答ができているかを判定します。ユーザー満足度の高いAIになっているかを確認できます。


AI分析機能からのフィードバック

上記２つの分析観点をバランスよく高めることで、高精度かつ満足度の高いAIを開発することが可能です。

※ 本機能は生成AIの誤回答を100％検知可能なものではありません。改善が必要な回答をいち早く検知し改善に繋げるための機能です。

【具体的なメリット】
miiboの「AI分析機能」導入により、ユーザーは以下の明確なメリットを得ることができます：
- 品質向上とリスク低減

・AIの応答精度の向上のための改善がスピーディに
・誤情報提供によるリスク削減

2. 大幅なコスト削減
・誤回答チェックの時間を大幅に削減
・人的リソースの効率的な再配置が可能に

3. 顧客満足度の向上
・解決予測度の高い応答を増やすことで開発したAIの満足度を向上

4. ビジネスの拡大と新規機会の創出
・AIの信頼性向上により、新規事業領域への安心した展開が可能に

5. PoC → 本運用への意思決定の基準が明確になる
・開発したAIの本運用へコンバートする際の基準として活用

【miiboのAI分析機能の特徴】
miiboの「AI分析機能」とは、AIを活用したmiiboのRAGシステムを包括的に評価するための分析機能で、幅広いユースケースに対応可能です。今回のリリースでは、AIによる回答結果に対して「信頼度」「解決予測」の2種類の評価基準を設け、それらを「G-EVAL」と呼ばれるLLM-as-a-judgeのフレームワークに当てはめて評価することを可能にした機能の提供を開始します。
miiboのAIによる応答の設定画面で、本機能を有効にするだけで即利用が可能です。エンジニアによる追加開発も不要で、AIによる分析機能をご活用いただけます。

【対象ユーザーと提供開始日】
対象：miiboのプレミアムプラン以上を契約している全ユーザー
提供開始日：2024年8月21日

【利用方法】
miiboの「AIによる応答の設定」にある下記の項目をONにすることで、本機能をご利用いただけます。

AI分析機能の設定画面



【今後の展開】
miiboは、生成AIを用いたAIプロダクトの開発～運用、改善を一気通貫で行えるプラットフォームとして進化を続けてまいります。特に生成AIを活用したプロダクトはハルシネーションのリスク最小化が非常に重要な課題です。miiboでは、最新の手法も取り入れ、より精度の高いAI分析機能の提供にも注力していきます。