実験室では高い正確性を実現していたAIツールが、現実世界では使い物にならない場合があることを示した。
エマ・ビードはちょっと変わった技術的名声を手にしている。勤務先であるグーグルの新技術の一つが、現実世界に導入される前に重要な改良が必要であることを研究によって明らかにしたのだ。
ビードは研究で、グーグル・ヘルス（Google Health）が開発した深層学習アルゴリズムをテストして、高血糖が原因で網膜が傷つき光を感知しづらくなる「糖尿病網膜症」の眼球画像をスクリーニングした。すると、実験室では90パーセント以上の正確さで動作していたこのアルゴリズムが、タイの11のクリニックでの実証試験では問題が生じていることがわかった。
このアルゴリズムは高品質の眼球スキャン画像を使って訓練されていた。そのため、照明不良などのせいでクリニックで撮影された画像の品質が低下すると、スキャン画像が使い物にならなくなることが原因であった。網膜スキャン画像の20パーセント以上が使えないことに不満を感じた患者と医療提供者は、従来型の代替手段を探している。
今回の結果は、人間が使う人工知能（AI）搭載ツールを実際に導入する前には、きめ細かで厳密なテストをしなければならないことを示す重要な例であるとビードは考えている。「現実世界の人間は複雑なので、そのことを考慮すべきです。利用者への影響を調査して、損害を与えるリスクを軽減できるように適正な評価をする必要があります」。
（ Neel V. Patel）
