金融・情報通信・製造・公共・流通において3つの軸でRAG性能を評価
RAGソリューションの日本語“性能表”、5業界対象にAllganizeが公開
2024年09月17日 14時00分更新
Allganize Japanは、2024年9月13日、RAGソリューションの日本語性能を評価した「Allganize RAG Leaderboard」をHugging Faceにて公開した。
・Allganize RAG Leaderboard https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA
Allganize RAG Leaderboardは、RAGソリューションの構成要素である、文字・図・表などを抽出して読みやすいフォーマットに変更する「Parser」、独自データから回答となる情報を抽出する「Retriever」、抽出した情報と学習データから回答を生成する「Generation」の3つの能力を評価したもの。加えて、金融、情報通信、製造、公共、流通・小売の5つの業種のドキュメントに対してRAGの性能を測っている。また、客観的な評価になるよう、自動性能評価方法を採用して、4つの測定ツール（LLM Eval）を用いているという。
評価対象のRAGソリューションは、Allganizeの提供する「Alli」、「LangChain」、「OpenAI Assistant」、「Cohere」であり、対象は今後も追加される予定。評価に利用したデータセットもHugging Faceに公開されている。
本記事はアフィリエイトプログラムによる収益を得ている場合があります
