実利用に焦点をあてて設計、日本語性能評価にも対応

RAGのベンチマークツール、Recursiveがオープンソースで公開

　AIスタートアップのRecursiveは、2024年8月6日、RAGシステム向けのオープンソースのベンチマークツール群「Flow Benchmark Tools」を、GitHubにて公開した。

　Flow Benchmark Toolsは、セマンティック検索やクエリ生成、LLM（大規模言語モデル）に基づいた回答生成など、RAGシステムの実用的な性能に焦点をあてた評価ツール。英語だけではなく日本語性能も測定できる。

　Recursiveは、RAGシステムの評価における業界標準になることを目指し、実社会のシナリオを反映した評価と最適化が行えるようFlow Benchmark Toolsを開発したという。

■関連サイト

• ニュースリリース
• Flow Benchmark Tools（GitHub）