エンジニアの「AI協働力」を測る評価基準を無償公開

　株式会社ハイヤールーは8月25日、エンジニアがAIと協力して作業するプロセスの質を測る独自の指標「AI協働力」の評価設計と解説資料を無償公開した。自社の試験サービスで蓄積した300社・116万件のデータをもとに、エンジニアの行動を5つの領域と13の観点で整理している。「GitHub Copilot」やAnthropicの「Claude」といった主要AIツールの料金体系変更などを背景に、従来の「利用量」による評価が難しくなるなか、活用の「質」を評価する指標として提示された。

　本指標は、AIが作った成果物の出来ではなく、人間側がどのように指示を出し、確認や判断を行ったかという行動プロセスを評価する。評価領域は「意図の仕様化（AIに正しく伝える力）」「環境構築（AIが働きやすいように準備をする力） 」「共同推論（AIと一緒に考える力） 」「実行の統制（AIの動きをコントロールする力）」「出力の品質保証　（AIの成果物をチェックする力） 」の5つ。AIモデルの性能が上がっても、人間の純粋なスキルのみを測定できる設計となっている。

　同社によれば、AIへの指示出しや管理のスコアは比較的高い一方、AIと対話しながら問題を解く「共同推論」の平均スコアが48.6%と最も低い傾向が見られたという。つまり、多くのエンジニアが一方向的な指示と成果物の確認にとどまり、AIと議論を重ねて思考を深めるような使いこなしにまで至っていないことが伺える。

　AIの利用量が直接コストに反映される料金構造への変化に伴い、企業には「どれだけ使ったか」ではなく「どれだけ効率的に使えたか」を把握する管理が求められる中、客観的な測定が難しかった利用の質を可視化する取り組みとなる。