デジタルツインで推測し、人と共に働き「呼吸を合わせる」ロボット！

　本特集では、2月16日・17日に開催されるNEDO「AI NEXT FORUM 2023」でも展示される、社会実装に向けた最前線のAI技術を、全10回にわたって紹介する。第8回は、人とともに働き、人の作業負荷を考えて動作をリアルタイムに変えていくAI・ロボットだ。

人と機械を協調させるためのデジタルツイン

　国立研究開発法人産業技術総合研究所（産総研）の堂前幸康氏らは「デジタルツインに基づく人・機械協調システム」の研究開発を行なっている。背景にあるのは少子高齢化と生産年齢人口の減少だ。深刻な人手不足のなか、熟練者が減少し、どうやって日本社会を維持していくべきか。今から少子化対策を打って成功させたとしても、労働生産性に効果が出るのは20年後だ。

　堂前氏らは少子高齢化社会において人間計測技術とロボティクスを活用しようとしている。熟練労働者が不足すると、多様な人が労働現場に入ってくる。今後、AIは爆発的に進歩するだろうが、アクチュエーションを考えると、器用な作業を一度に置き換えるのは難しい。

「単純特定作業なら、機械が得意な部分はたくさんあります。機械は黙々と作業するからです。我々は、人間の身体をリアルタイムに理解しながらコラボレーションできる機械があれば、生産性を重視しつつ、人に寄り添う機械ができると考えています」（堂前氏）

　そのための方法が現実空間とサイバー空間のアセットを繋ぐ「サイバーフィジカルシステム（CPS）」で、その肝となるのがデジタルツインだ。生産分野のデジタルツインにおいては、機械のデータの取り込みは進んでいる。だが人間計測・協調には、まだまだ大きな課題があると堂前氏は指摘する。

　産総研デジタルヒューマン研究チームでは以前から、「人のデジタルツイン」の研究を進めてきた。プラットフォームとして用いているのは「DhaibaWorks（ダイバワークス）」。産総研が開発してきた人体機能モデル「Dhaiba（ダイバ）」を中心としたプラットフォームソフトウェアだ。これまでに、自動車や機械設計などにおける人間中心設計等に用いられた実績がある。

ロボットが人の身体負荷を理解して作業を変える

　人と機械が親和的に活動できるようにするためには、人の身体運動のような粒度が細かい情報を、デジタルツイン上に反映して分析する必要がある。このプロジェクトでは、トヨタ自動車株式会社と共同で、実際の工場の課題に取り組んでいる。ターゲットは部品供給の現場だ。自動車の製造工場では、作るクルマの型番に応じて、異なる部品をピッキングしていく作業がある。作業は一日中立ったままで、ピッキングする部品は動的に変化する。作業負荷が高く、高齢者には難しい。そのため、若い人が中心に行なっている作業だ。

　これに対して産総研では、移動台車とロボットアームを持ったモバイルマニピュレータによって、人の手助けを行う取り組みを進めている。デジタルヒューマンの技術を用いて、人間の身体負荷をリアルタイムに推定する。人の姿勢をモーションキャプチャー技術で取り込み、姿勢情報から筋骨格モデルを使って身体負荷を推定する。それをもとに、ロボットが作業計画を変えながら人を手助けする。つまり「ロボットが人の身体負荷をリアルタイムに理解し、その作業をリアルタイムに変えていく」というものだ。

　ピッキングする人には目標作業量が設定されており、それに対してどれくらい部品を取ったかで進捗がわかる。人の作業が遅れていると、その作業をロボットが手伝う。部品の棚は上下に幅があり、上から取るほうが身体負荷は高い。このため、ロボットは上のほうの棚から取ることで、人の身体負荷を減らしながら、生産性も上げることができる。

　堂前氏は「人を含むデジタルツインを使うことで、作業負荷を減らしながら生産性も上げられる」と語る。これは従来のシステムにはない特徴であり、「工場の実課題を解いて生産性向上と労働負荷低減ができたことは一番のポイント」だという。

デジタルツインを使うことで、より安全に

　今回のロボットにはもともとLiDAR（レーザーセンサー）等が付けられていて、周囲に障害物が近づくと停止するようになっている。これが、デジタルツインを使うことで、さらに安全性を高めることもできるという。

「デジタルヒューマンは人体の表皮形状も反映した人体モデルです。デジタルヒューマンを使うことで、人の体の表面から、ロボットがどのくらい距離があるのかをサイバー空間上でモニターできます」。システムは人間の3Dモデルとロボットの3Dモデルを持っており、互いに近づいたときにどのくらいの距離があるかについて、デジタルツイン上で推測できるのだ。

　このため、センサー情報に抜けがあっても、計算で補完できる。これにより「センシングだけよりも、はるかにロバストに安全距離を精度高く推定できている」という。なお、人と機械の協働安全の国際標準化についても産総研では取り組んでいる。

インクルーシブな環境設計にも応用可能

　このデジタルツインは、作業の進捗管理にも活用できる。また、将来は身体の不自由な人が働きやすい環境のデザインにも用いることができるという。VRを用いた仮想作業介入と分析を行うことで、サイバー空間上で仮想的な作業を行う人に対しても、どうサポートするべきかを調べることができる。たとえば、現実空間で人が重たいものを持ち上げたりする時に、身体筋骨格モデルから身体負荷を計算することができるが、これはVRで作業している人にも適用できる。この技術を活用する。

　現実空間では車椅子の人にはアクセスが難しい環境がある。VR上であればそうした障害を持った人であっても、あらゆる環境に対して「お試し」が可能だ。そこから、事前に環境をどうデザインすると、よりユニバーサルで、インクルーシブにできるのかを考えることに貢献できる。

ロボットと人が互いに動きを合わせる共進化

　部品供給の実験においては、人間側にはどの部品を取るべきかの指示がLEDと音声で出されるが、ロボットの動きについての情報は特に出していない。だがロボットが近くにいると人は無意識に呼吸を合わせるような行動をしているように見えることがあるそうだ。

　今後の２年間のプロジェクト期間中に、人間に対する働きかけやインタラクション、人と機械の互いのサイクルの共進化を、実証現場を使って検証していく予定だという。このほか、ロボットについても絡み合う部品をピッキングできる技術や、特殊なハンドの開発も進めている。

頑健な運動計測をローコスト・簡便に

　簡易化にも取り組む。現状のシステムは、かなりセンサーリッチな環境でテストを行なっている。部品ピッキングの例では、上方に20台程度のモーションキャプチャーカメラが設置されており、さらに作業者は約40点の反射点付きの服を着ている。これらは高価で、設置コストも高いため、そのまま現場に入れることは難しい。

　そこで、センシングを簡略化するための研究も進めている。将来はRGB+デプスカメラ一つで骨格と位置姿勢が計測できるようになる見込みだ。画像センサーだけでは影に入ってしまうと見えなくなるので、角速度と加速度を測定できるIMU（慣性計測装置）を作業者に身につけてもらうことも考えている。ベルトや帽子、安全靴など、作業現場で必ず着装するものにIMUを取り付けて簡易的に計測する取り組みも進めている。IMUとカメラ、両者を組み合わせることで、より頑健なセンシングが可能になる。

　データを大量に集めることにより、AIのシミュレータ上での学習も可能になる。「やがてはAIを用いてカメラ一台でもセンシングできるようになる。デジタルツインを使って実証実験をしながらデータを蓄積すれば、同じような作業データを生成して試せるようになる。今のAIのレベルをさらに飛躍させることができるだろうと考えています」（堂前氏）

実際の現場でのノウハウ蓄積が重要

　アプリケーションとしては、工場のほか、物流分野や小売分野などにも似た作業は存在する。「別々に具体的タスクを行うことで学習結果の横展開を考えています」

　ただ、「こういうものは単純にプラットフォームを作って、『はいどうぞ』では提供できない」。使っていくなかでのノウハウも必要であり、実際の現場を持つ各企業と共同実証を続けながら、ノウハウを蓄積することが大事だという。

「それを産総研やNEDOプロジェクトで行うことが重要です。プラットフォーム提供に加えてノウハウを共有することが、国内の競争力を維持し、海外技術と戦う上ですごく重要です」と堂前氏は語った。実証現場を持っている企業や、本研究に関連する課題を持つ企業からのコンタクトは、大いに歓迎するとのことだ。

開催概要
名称：AI NEXT FORUM 2023－ビジネスとAI最新技術が出会う、新たなイノベーションが芽生える－
日時：2023年2月16日（木）、17日（金）10時00分～17時00分
場所：ベルサール御成門タワー「4Fホール」（〒105-0011 東京都港区芝公園1-1-1 住友不動産御成門タワー4F）
アクセス：都営三田線 御成門駅 A3b出口直結、都営大江戸線・浅草線 大門駅 A6出口徒歩6分、JR浜松町駅 北口徒歩10分、東京モノレール 浜松町駅 北口徒歩11分
参加：無料（事前登録制）
内容：AI技術に関する研究成果を実機やポスター展示などにより対面形式で解説（出展数：最大44件）、各種講演やトークセッションを実施（会場参加とオンライン配信のハイブリッド形式）
主催：国立研究開発法人新エネルギー・産業技術総合開発機構
運営委託先：株式会社角川アスキー総合研究所

「ASCII STARTUPウィークリーレビュー」配信のご案内

ASCII STARTUPでは、「ASCII STARTUPウィークリーレビュー」と題したメールマガジンにて、国内最先端のスタートアップ情報、イベントレポート、関連するエコシステム識者などの取材成果を毎週月曜に配信しています。興味がある方は、以下の登録フォームボタンをクリックいただき、メールアドレスの設定をお願いいたします。