GitHubは9月7日（米国時間）、AIペアプログラマー「GitHub Copilot」が開発者の生産性と満足度に与える影響を数値化した調査を発表した。
AI支援によるソフトウェア開発は比較的新しい分野であるため、研究者が利用できる先行研究はほとんどない中、同社は、GitHub Copilotのさまざまな効果を測定したいと考えていた。
そこで初期の観察とユーザーへのインタビューの後、GitHub Copilotの使用経験について大規模な情報を得るため、2000人以上の開発者を対象に調査を実施。
なお、この調査手法を設計する際、「全体的な視点から生産性を見る」、「開発者自身の視点を含める」、「日常の開発シナリオでGitHub Copilotの効果を評価する」の3点を念頭に置いたとしている。
結果として、ユーザーの60～75%が、GitHub Copilotを使用することで仕事に満足感を覚え、コーディング中のフラストレーションが減り、より満足度の高い仕事に集中できると報告したほか、73%のユーザーが「GitHub Copilotがフローの維持に役立った」と回答し、87%のユーザーが「GitHub Copilotが反復作業における精神エネルギーの維持に役立った」と回答している。
また、95人の開発者を無作為に2つのグループに分けて、JavaScriptでHTTPサーバーのコーディングに要した時間を計測する調査も実施（片方のグループだけにGitHub Copilotを使用してもらい、もう一方は使用しないという実験となる）。
ここではGitHub Copilotを使用したグループのほうが、タスクの完了率が高かった（GitHub Copilotを使用しないグループの70%に対して、78%）という調査結果が得られたという。
調査の全文はこちらを参照。
