AIとの協働の質を測る指標「AI協働力」の評価設計を無償公開 - 116万件の評価データをもとに、5領域・13観点で標準化

株式会社ハイヤールー
料金体系の転換により「使った量」はKPIとして成立しなくなった。量から質への転換に必要な、共通の物差しを公開

株式会社ハイヤールー（本社：東京都渋谷区、代表取締役：葛岡宏祐）は、エンジニアがAIエージェントとどれだけ上手く協働できているかを評価する独自指標「AI協働力」の評価設計を無償公開しました。

当社は採用領域のコーディング試験を通じて、300社超・116万件の評価実績を積み上げてきました（2026年7月時点）。この蓄積をもとに、AIとの協働の質を5つの領域・13の評価観点で標準化したものが「AI協働力」です。

評価の対象は、AIが出した成果物ではありません。実際の開発セッションの行動データ--本人がAIに何をどう指示し、どこで確認し、どこで判断を変えたか--という、人間側のプロセスです。

あわせて、評価体系の全容を解説したホワイトペーパー『AI協働力 - 100万件の評価データに基づいた、AI時代のスキル指標』を無償で提供し、2026年9月3日（木）にオンラインセミナー『AI協働力は量から質へ--生産性の差を生む"AI活用の質"の見極め方』を開催します。

■背景：「使った量」は、もうKPIとして成立しない

生成AIコーディングツールの導入は、もはや当たり前になりました。使うかどうかが論点だった時期は終わり、次に各社が着手したのは「量」の計測です。 トークン使用量や利用回数を可視化し、活用度のKPIに据える動きが広がりました。

しかし、量は成果を説明しませんでした。

海外では、社内のAI利用量をランキング化した企業で現場の反発が起き、年間のAI予算を数ヶ月で使い切った事例も報じられています。Google や Stanford などの調査データを重ねても、消費量と生産性は一致しません。 当社が20本超の一次情報・学術論文を精査した結論も同じでした。「たくさん使う人」は、必ずしも成果を出す人ではありません。

そこに料金体系の転換が追い打ちをかけました。 2026年6月、Anthropic と GitHub Copilot が相次いで料金体系を見直しています。消費量がそのままコストに跳ね返る構造がより明確になり、組織として「たくさん使うこと」を推奨しづらくなりました。 量を増やす方向のKPIは、コスト管理と正面から衝突します。

成果を説明せず、増やせばコストが増える。 量をKPIに置く前提は、これで二重に崩れました。残るのは「同じ課題に、どれだけ的確に到達したか」という質だけです。

ところが、その質には共通の物差しがありませんでした。海外では Anthropic「4つのD」や CoderPad「5 Skills」といった評価枠組みの提案が出始めていますが、日本の開発現場でそのまま使える標準はまだ存在しません。

■「AI協働力」の評価設計

AI協働力は、当社の独自指標「SEI（Software Engineering Index）」を構成するドメインのひとつです。実際の開発セッションの行動データから、次の5つのサブ領域・計13の評価観点を、検出条件とルーブリックに基づいて採点します。

評価するのは、AIの出力ではなく人間の指示と判断
この指標が測っているのは、AIが書いたコードの出来ではなく、人間の指示と判断そのものです。この設計には2つの意味があります。

1つ目は、AIモデルの性能向上でスコアが上がらないことです。 評価対象が人間側にあるため、モデルが世代交代しても物差しは変わりません。純粋に「人のスキル」を測り続けられます。

2つ目は、人の行動が変わらないかぎりスコアが動かないことです。 ツールを入れ替えても、承認の操作を増やしても、本人の指示や検証の仕方が実際に変わらなければ、スコアは動きません。
実データで最も低いのは「共同推論」
当社の評価データにおける5領域の平均スコアは以下のとおりです。

※当社SEI評価データより（2026年7月時点）

最も低かったのは「共同推論」--AIとの対話を通じて問題を解く力--で、48.6%でした。 一方で「実行の統制」（69.7%）や「意図の仕様化」（67.3%）は比較的高い水準にあります。

つまり、要件を言語化してAIに渡し、出てきた結果を管理することはできている。しかし、AIと共に考えて答えの精度を上げていくことができていない。 一度指示を投げ、返ってきた出力を人が手で直す--という使い方に留まっているエンジニアが多数を占める、ということです。

裏を返せば、ここが最も伸びしろの大きい領域です。同じツール・同じモデルを使っていても、この一点の差が成果の差になります。 量を絞りながら成果を上げるには、まずここから手を付けることになります。

■ホワイトペーパーを無償で提供

評価体系の全容を解説したホワイトペーパーを提供しています。5つのサブ領域・13評価観点の設計と検出条件・ルーブリックの仕組み、そして2万件超の実スコア評価が示す「差がつく場所」を掲載しています。
- タイトル：AI協働力 - 100万件の評価データに基づいた、AI時代のスキル指標
- 想定読者：EM・技術責任者、採用・人事責任者、評価設計担当
- 仕様：PDF・18ページ（想定読了時間 約10分）
- 費用：無償
- ダウンロード：https://hireroo.io/whitepapers/ai-collaboration/

■オンラインセミナーを開催

- タイトル：AI協働力は量から質へ--生産性の差を生む"AI活用の質"の見極め方
- 日時：2026/09/03（木）12:05-13:00
- 形式：オンライン（Zoom）・参加無料
- 対象：エンジニアリングマネージャー、採用・人事担当者、経営層の方
- 内容：AIが個人の実力の増幅器となるなかで、成果だけで実力を見極めることがなぜ難しくなったのか。海外の調査事例と当社の評価データをもとに、AI協働力の評価基準と評価方法を解説します
- お申込み：https://hireroo.io/events/ai-collaboration-quality-shift/

■代表取締役 葛岡のコメント

AIを配り終えた企業が次にやったのは、使用量の可視化でした。しかし量は成果を説明せず、そして料金体系が変わったことで、量を増やす方向のKPIはコスト管理と衝突するようになりました。問われるのは「どれだけ使ったか」ではなく「どれだけ的確に使えたか」です。

ところが我々の評価データでは、その質の中でも最も低いのが「共同推論」--AIと対話しながら問題を解く力--でした。指示は出せる。管理もできる。けれども、AIと一緒に考えることができていない。測れないものは改善もできません。

だから我々は、評価設計そのものを公開することにしました。この指標が当社の中だけで使われるより、業界の共通言語になったほうが、日本の開発組織全体が前に進むと考えています。 「Japan as No.1, again. 日本をもう一度、『モノづくり』で一番へ。」というミッションの実現に向けて、AI時代のエンジニアリング組織づくりを支援してまいります。

■HireRooについて

『HireRoo』は、AIと協働して成果を出す力「AI協働力」を可視化する、エンジニアリング組織向けプラットフォームです。独自指標「SEI（Software Engineering Index）」は、NTTドコモ、三井住友カード、freeeをはじめとする300社超に導入され、評価実績は116万件を超えています（2026年7月時点）。採用（Skill Interview）から在籍エンジニアの評価（Skill Assessment）までを、一貫した指標で支援します。
受賞歴
- 「HONGO AI 2023」最優秀賞
- 「ICCサミット FUKUOKA 2023｜SaaS RISING STAR CATAPULT」優勝
- 「ASPICクラウドアワード2023」奨励賞
- 「第8回 HRテクノロジー大賞」
- 「ICCサミット FUKUOKA 2025｜ガーディアン・カタパルト」優勝

■会社概要

【本件に関するお問い合わせ先】
株式会社ハイヤールー　広報担当
E-mail: contact@hireroo.io　　TEL: 03-6774-7093