「行動分析技術 Actlyzer（アクトライザー） 手洗い動作認識」

富士通が「正しい手洗い」を判定するAI開発、食品事業の衛生管理に活用へ

手洗い動作認識画面のイメージ

　富士通研究所と富士通研究開発中心有限公司（北京）は5月26日、カメラで撮影した映像から、複雑な手洗い動作を認識するAI「行動分析技術 Actlyzer（アクトライザー） 手洗い動作認識」を開発したと発表した。

　近年、細菌やウイルス感染から人々の健康を守る対策として手洗いの重要性が再認識されている。厚生労働省では、食中毒や感染症の予防に効果的な正しい手の洗い方6ステップの実施を推奨している。

正しい手の洗い方6ステップ

　現在、食品事業者においては、正しい手の洗い方6ステップの実施と、ステップごとにあらかじめ規定した回数以上の手のこすり実施を確認する方法として、チェック表記入による自己申告や監視員による目視確認を実施している。しかし、人手による確認のため、漏れや監視員のリソース確保など管理コストが大きいといった問題が発生しているという。

従来のハンドトラッキング技術（左：ジェスチャーの認識結果、右：手洗い動作に適用した結果）

　近年発展している手や指の動作を認識する技術として、ディープラーニングを使ったハンドジェスチャー認識技術がある。この従来の技術は、手が写った画像から指の関節や指先といった手に含まれる複数の特徴点を検出し、その特徴点の位置関係をもとにハンドジェスチャーを判定するというもの。しかし、手洗い動作は両手が重なる・手の上に泡があるという条件下のため、手指の特徴点が正確に検出できず、正しく動作の認識ができない課題があった。

　今回、映像から人の様々な行動を認識するAI「行動分析技術 Actlyzer」に手指動作の認識機能を拡張させ、手洗い時の複雑な手指の動作を両手の全体形状と手洗いの一連の動きから自動で認識するAI「行動分析技術 Actlyzer手洗い動作認識」を新たに開発した。

複雑な両手指の動作を両手の全体形状と動きパターンの組み合わせとして認識

　本技術は、手洗いの複雑な手指動作を、両手の形状とこすりの反復動作の組み合わせとして捉え、両手形状認識と動き認識の2つのディープラーニングエンジンにより検出。これら2つの認識エンジンによる結果を相互にフィードバックすることで認識精度を向上させたという。動き認識エンジンは、両手形状認識エンジンで認識されたステップに合わせて、判定すべき動きの大きさの閾値を設定し、泡の動きやこすりに関係しない手の揺れなどの誤った周期の検出を防止する。両手形状認識エンジンは、動き認識エンジンで検出した反復パターンの周期を用い両手形状判定結果をフィルタリングすることで検出精度を向上させたとする。

　同社は、人やカメラ位置、石鹸の種類など約2000のバリエーションを持つ手洗い映像データセットを独自に撮影・収集して学習と評価を行ない、正しい手の洗い方6ステップにおいて95％以上の平均判定精度で動作認識でき、手をこすった回数の判定精度が90％以上であることを確認。現場で運用する際には、ステップごとに規定のこすり回数が実施され完了と判定されるまで手洗いを実施し、システム側で実施時刻などの情報と合わせて自動で記録することで、実施漏れをなくすことができるという。

　本技術により、厚生労働省が推奨する正しい手の洗い方6ステップの実施と、各ステップにおける手をこすった回数を正確かつ自動で認識できるという。また、本技術の活用により、食品事業者など衛生管理が必要な現場における手洗いの実施漏れ防止や監視員による目視確認の工数削減が可能としている。

■関連サイト

• ニュースリリース
• 富士通研究所