AIシステムの課題や改善ポイントを自動でとりまとめて解説するLLMサマリー「Eval Insight」提供開始

　株式会社Citadel AIは3月27日に、AIシステムの課題や改善すべきポイントを言葉でまとめて自動解説するLLM（大規模言語モデル）サマリー「Eval Insight（イーバル・インサイト）」のリリースを発表した。

　同社では、生成AIから従来の予測型AIまでを同一プラットフォーム上で自動的に品質検証とモニタリングを行う「Citadel Lens（シタデル・レンズ）」を提供している。「Citadel Lens」は、エンジニア向けの「テクニカルレポート」と、管理部門・内部監査部門向けの「ガバナンスレポート」を自動生成する。「テクニカルレポート」はシステムの品質を分析し最適化を支援し、「ガバナンスレポート」ではISOなどの国内外の基準に基づいてコンプライアンスを強化して適切な運用の促進を図る。

　今回リリースした「Eval Insight」は、こうしたレポートの要点を自動で取りまとめ、業務の効率化をさらに促進するサービスだという。同社独自のLLM（大規模言語モデル）を活用した専用アプリケーションがユーザーのAIシステムの信頼性や安全性を自動で分析し、重要なポイントをわかりやすい言葉で簡潔にまとめて解説するとしている。

「Eval Insight」では、以下のような機能を順次導入していくとのこと。
・生成AIの評価レポートを、安全性や信頼性の観点から自動解析。評価したアプリケーションについて、セキュリティリスクやハルシネーション問題につながりかねない入出力パターンを抽出し、その理由を言葉で解説する。
・テクニカルレポートを、エンジニアの技術的観点から自動解析。評価したモデルについて、弱点領域やバイアスの所在、失検知・過検知、ロバストネスなど、AIの品質や信頼性にかかわる重要なポイントを抽出し、とりまとめて言葉で解説する。
・ガバナンスレポートを、コンプライアンスやレピュテーションリスク、公平性などAIセーフティにかかわる重要なポイントに力点を置き自動解析。該当する規制や標準の情報とともに抽出し、言葉で解説する。

　同社では、「Eval Insight」の導入によって、AIシステムのスナップショットを即座に把握することが可能となり、限られたリソースの中で効率的に的を絞って品質改善を進められるようになるとしている。