金融・情報通信・製造・公共・流通において3つの軸でRAG性能を評価
RAGソリューションの日本語“性能表”、5業界対象にAllganizeが公開
2024年09月17日 14時00分更新
Allganize Japanは、2024年9月13日、RAGソリューションの日本語性能を評価した「Allganize RAG Leaderboard」をHugging Faceにて公開した。
・Allganize RAG Leaderboard https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA
Allganize RAG Leaderboardは、RAGソリューションの構成要素である、文字・図・表などを抽出して読みやすいフォーマットに変更する「Parser」、独自データから回答となる情報を抽出する「Retriever」、抽出した情報と学習データから回答を生成する「Generation」の3つの能力を評価したもの。加えて、金融、情報通信、製造、公共、流通・小売の5つの業種のドキュメントに対してRAGの性能を測っている。また、客観的な評価になるよう、自動性能評価方法を採用して、4つの測定ツール（LLM Eval）を用いているという。
評価対象のRAGソリューションは、Allganizeの提供する「Alli」、「LangChain」、「OpenAI Assistant」、「Cohere」であり、対象は今後も追加される予定。評価に利用したデータセットもHugging Faceに公開されている。
