”AIが日報を10秒で12指標リアルタイム評価”。日報・振り返りツールのリフレクトはChatGPTを用いたAI評価機能をリリース。利用者は即時自分の強み・弱みを可視化しながら業務改善をすることが可能。
株式会社REFLECT
株式会社リフレクトは2023年3月にAIコーチをリリース。アドバイスや問いかけの自動化を進めてきました。日報を経済産業省提唱の社会人基礎力12項目において、リアルタイムに評価する機能を搭載しました。
＜背景＞
・ChatGPTをはじめ、2023年は大規模言語モデルLLMが普及し、様々な変化が起きています。人事領域においても、採用、育成、配置、労務など様々な領域でAIによる自動化が進んでいます。
・株式会社リフレクトは、2023年3月に振り返り・日報システムにChatGPTのAIコーチを取り入れ、いち早く人材開発、従業員のオンボーディングの領域でAI活用を進めてきました。
＜”withAI時代到来、チームにAIコーチを”。自立学習を支援する振り返り共有ツールのリフレクトは、国内初となるChatGPT搭載AIコーチ（リフレクこ）をリリース。AI導入後ツール利用時間は2倍に。＞
https://prtimes.jp/main/html/rd/p/000000004.000095716.html
・振り返りや日報を行うことは、成長に寄与することはいくつかの研究で明らかになっています。しかし、その振り返りや日報自体を評価し、改善点をアドバイスをするのは今までは人間が中心であり、いくつかの課題を抱えていました。
人間の場合は、時間当たりの評価数（情報処理数）に限界があること、評価者の知識や経験によるばらつきがあるため評価者によるばらつきが生まれてしまうこと、評価者の疲労による評価の質が下がってしまうこと、評価者の感情によるバイアスが発生してしまうことです。
一方で、AI評価もデータ化された情報からしか評価ができないという課題があります。
しかし、日報評価など、限られたデータのみを評価すれ良いケースについては、
AI評価が人間に近い形で評価ができ、質が担保されれば、AI評価は上記の様なメリットを持っているため活用することができます。
そこで、AI評価の精度についてリフレクトの振り返りデータ（研究開発のため許諾済み）を用い、精度検証を行いました。研究用に許諾済みのリフレクトの日報データ100サンプルを抽出し、経済産業省が提唱する12項目において5段階尺度でレベルが定義化されたルーブリック設問を用意。人間2名とAI（ChatGPT）で評価を行いました。結果、AIの評価が人間の評価に近いことが判明しました。
例えば、言語化力については、人間とAIの評価の相関係数が0.8、課題分析力については0.6などでした。
また、GPT-3.5とGPT-4で比較したところ、精度が上がったといわれているGPT-4の方が、人間との評価との相関係数が高い傾向となりました。
クロス集計で確認をすると、課題分析力については、下記の通り人間評価とAI評価の差が±1を許容した場合、±1以下に収まっているケースは全体の98%でした。
検証結果の詳細はこちら
https://note.com/j_miyoshi/n/n4ee25e4c27f2
また、AIで推計したスコアを、許諾の得られている社会人と大学生の振り返りデータで比較したところ、社会人の評価スコアが高いことが判明しています。新入社員が入社してから徐々にAIによる評価スコアが上がっていく現象も確認できています。
＜リリースについて＞
1.リアルタイムで日報・振り返りについて評価できる機能をリリース
リフレクトのシステム上で、日報・振り返りを記入後10秒以内に、振り返り内容について、経済産業省の提唱する社会人基礎力12指標の値が5段階尺度で表示されます。
・これにより、自分の思考のクセ、強み、弱みが把握しやすくなります。
・例えば、「自分を鼓舞する」記述だけの場合は、「前に踏み出す力」のみが高くなり他の項目は評価は低くなります。それに加えて、現状・課題分析についての、内容が記入をしていくと、「考え抜く力」などが上がっていま来ます。
・マネージャー、人事、メンターなど権限付与者は、チーム全員のAI評価値が閲覧可能。
・カスタマイズ費用をいただくことで、自社独自のルーブリック設問にカスタマイズすることが可能。
2.AIアセスメント評価サービスの提供
・社内の研修後アンケートやテストにおいて自由記述データを取得され、ルーブリック設問をもとに人間が評価しているもの業務をAIにて代替します。
＜導入の効果＞
1.自立的な成長速度が加速。上司やメンターが忙しくフィードバックを得られない場合も、日報記入者はAI評価を参考に、自らの強み弱みを確認しつつ、日々の業務を改善することができます。
2.マネジメント工数削減、精度の向上。日報記入者の強み、弱みを参考にした上でのメンバーへピンポイントで人間ならではのフィードバックを行うことができます。
3.研修効果の向上。研修期間を含んだ前後の期間でAI評価を利用することで、個人別に研修効果を12指標の項目においてリアルタイムに行うことができ、データに基づきアフターフォローを行うことができます。
上の例は、ある社員が営業として中途入社し、振り返り内容について週次で改善をし、成長をした事例です。
2週目では実行力が、3週目では主体性・課題発見力・実行力が、5週目では全体的にスコアが上がっています。
1週目では、営業に転職後の心意気のみを記入しており、投稿文字数も少ないため全体的に値は低めです。
5週目では、前週の失敗からの学びを活かし、営業の往訪について、詳細に記入した上で、課題分析と対策、自分の気持ち、チームとしての動き、などについても言及しているため、全体的にスコアが上がっています。
＜今後のリリース予定＞
・9月中には、下記の様なチーム内ダッシュボードのリリース予定
・ある期間を選択内におけるメンバーの一覧比較をすることで、チームお強み・弱みを可視化しやすくします。
＜お知らせ＞
・新機能のAI評価を含んだリフレクトの無料テストを2週間行うことができます。テストご希望の方は下記よりお申し込みください。
https://docs.google.com/forms/d/e/1FAIpQLSfxDRtGjhE6rF5cM-rgUjH7jU0xxvYYHjOqpFHKo_i-K6tguw/viewform
＜リフレクト利用企業、利用例＞
・パーソル総合研究所様（中途営業の育成）
・株式会社ファーストキャリア様（新卒営業の育成）
・東拓工業株式会社様（新卒営業の育成）
・高崎経済大学様、東京経済大学様（ゼミの運用）
その他
＜参考URL＞
・株式会社リフレクト 会社URL
https://reflect.page/
・代表取締役 三好淳一 twitter
https://twitter.com/jumiyoshi