NTTコムウェア株式会社
～リアルタイムの映像送信とAI解析によるスマートメンテナンスの実現へ～
図1. 本取り組みが目指す工場設備点検の省力化イメージ
2024年12月20日
NTTコムウェア株式会社
株式会社NTTデータグループ
伊藤忠テクノソリューションズ株式会社
三菱ケミカルグループ株式会社
NTTコムウェア株式会社(以下：NTTコムウェア)、株式会社NTTデータグループ(以下：NTTデータグループ)、伊藤忠テクノソリューションズ株式会社(以下：伊藤忠テクノソリューションズ)、三菱ケミカルグループ株式会社(以下：三菱ケミカルグループ)は、IOWN APN[注1]やAIの活用によるスマートメンテナンスを実現することで、工場設備を点検する作業員の負担軽減を目指しています。今回、APNを活用したロボットの遠隔操作とAIを活用した映像解析による、工場設備の遠隔点検の共同検証を行いました。検証の結果、工場壁面上のパイプの亀裂をリアルタイムに検知し、劣化の兆候であるパイプの振動を精密に解析するなど、映像の遅延時間や画質の観点で、実用化が可能となる高い水準の数値結果を得ることができました。今後は、複数のロボットやデバイスを用いた映像や音などの環境情報の同時取得や、マルチモーダルAI解析[注2]を実施することで、遠隔地にある工場の様相をより高精度かつリアルタイムに把握できる世界の実現を目指します。
【背景】
NTTコムウェア、NTTデータグループ、伊藤忠テクノソリューションズ、三菱ケミカルグループは、持続可能な社会の実現に向けて、IOWN Global Forum(以下、IOWN GF)の活動に参画しています。[注3] 4社は、ロボットを遠隔操作して、設備点検を代行する機能や要件を含むRemote Controlled Robotic Inspectionユースケースのリファレンス実装モデルをIOWN GFパートナー企業と一緒に開発してきました。
【検証の概要】
工場等の製造現場では、設備保全のための定期的な点検が不可欠で、施設規模が大きいと、点検に多くの手間がかかります。また、転落などの危険が伴う高所点検もあります。こうした現場作業員の負担を減らすため、高速かつ超低遅延、広帯域の通信を可能とするIOWN APNの強みを生かした遠隔地からロボットを巡回させる仕組みや、リアルタイムな映像を用いたパイプの異常を検知する仕組みを検証しました。具体的には、お台場-五反田間[注4]を120km離れたAPN環境として構築し、複数のデバイスから高画質な映像を低遅延で遠隔地に送信し、AI解析による設備の異常検知を検証しました。
【検証における各社の役割】
図2.本検証のイメージ
図2.本検証のイメージ
図3.検証で使用したロボット (左上)NTTコムウェアが利用したHBA社製HBA SMART ROBOT (右下)NTTデータグループが利用したUnitree製犬型ロボット
各社の検証内容と結果は下記の通りです。
■NTTコムウェア
点検ロボット搭載カメラにより撮影した、遠隔地の工場設備等の映像をAI解析してデジタルツイン化することによりスマートメンテナンスの実現を目指しています。本検証ではプロジェクト全体のマネジメントを担い、検証環境の構築・実装や進捗管理を行いました。検証ではAPN経由のストリーミング映像を解析して検知した壁面上のパイプの亀裂をデジタルツイン環境にリアルタイムに反映し、遠隔地から参照可能であることを検証しました。
・APN等検証環境の構築
検証場所であるお台場-五反田間において、最大120kmの遠距離としての検証を可能とするAPNを設計、構築しました。また、今回の検証で使用するデジタル空間は、NTTコムウェアの４DVIZ(R)を利用し３Dのデジタルツイン空間として実装しました。
・画像認識AIによる亀裂検知と解析
遠隔で操作する点検ロボット（HBA SMART ROBOT）のアームに取り付けたカメラで撮影した映像をもとに、画像認識AI Deeptector(R)による解析を行い、現実空間の壁面上のパイプの亀裂を検知してデジタルツイン環境に即時反映する検証を行いました。あわせて、デジタルツイン環境において、現実空間と同じ位置にプロットした亀裂を示すアイコンをクリックすると、現実空間の亀裂のある箇所の画像を参照可能とする仕組みを確認しました。今回の検証では4K 60fpsの高解像度映像を無線とAPNを通じて送信、遠隔地においても遅延を感じることなく亀裂の検知や解析が可能であり、設備点検への実用化可能な水準であることが確認できました。
図4. 画像認識AIによる亀裂検知イメージ
■NTTデータグループ
NTTデータグループがこれまで蓄積してきたコンピュータービジョンに関する技術と、最新のロボットを組み合わせることで、遠隔地にある設備を自動点検/監視する構想の実現を目指しています。今回の検証では、Unitree製の犬型のロボットUnitree Go2を遠隔操作し、ロボットに備え付けられているカメラから撮影された映像をもとに、検査対象物であるパイプの振動をAIで解析しました。パイプの異常振動は、劣化や破損の兆候を示す重要なデータです。これまで作業員が目視や音で判断していた点検作業は、作業員の熟練度に依存しており、見落としや誤判断のリスクの軽減を進める必要があります。本検証では、人工的に発生させたパイプの振動が、ロボットが撮影した映像から精度高く解析されるかの検証を行い、遠隔操作と映像解析共に設定していた目標値を達成する結果となりました。
図5．NTTデータグループの検証イメージ
・遠隔操作
拠点間のAPNにロボットは問題なく接続できました。また、ロボットのカメラからオンデマンドに配信される映像は、遠隔地のPCに作業者が遅延を感じることなく操作でき、作業者が映像を見ながらPCのキーボードやリモコンでロボットを遠隔操作できることを確認しました。
・映像解析
ロボットのカメラが認識・撮影した、パイプの映像から振動の有無を解析しました。ロボットは、マーカーから解析対象のパイプを認識しており、パイプの認識違いはありませんでした。また、映像解析からパイプの振動振幅と周波数を取り出すこともできました。ロボット自体もモーターなどで振動している中ではありますが、問題なく映像からパイプの振動を解析でき、パイプが振動している時間を特定することができました。この結果を受けて、実用レベルの参考値として指定した振幅0.1mm、周波数60Hzを解析できるか、三菱ケミカル株式会社岡山事業所設備技術部と動作確認しています。
図6．パイプの振動解析の結果
■伊藤忠テクノソリューションズ
CPUを介さずにメモリーへの高速なデータ通信を可能にする Remote Direct Memory Access(RDMA)カメラを用いてAPN上での大容量な映像をライブで伝送する検証を行いました。カメラとPCをつなぐAPN間の距離を0km～120kmに変化させながら、映像を送信した結果、APN間の距離が長くなるにつれてスループット（データ転送速度）と1秒間に表示される画像の数であるfps（フレームレート） の低下がみられました。2Kと4Kの映像の実測値からシミュレーションを行い、APN距離とスループットの関係性を明らかにしました。また、映像の遅延に関して、APNの伝送遅延よりも機器の処理遅延の影響が大きく、機器選定の重要性がわかりました。さらに、今回のRDMAによる伝送は一般的なTCP伝送と比較して、CPU負荷が6％軽減され消費電力の抑制効果を確認しました。
図7. 伊藤忠テクノソリューションズ 検証構成イメージ
■三菱ケミカルグループ
今回の検証の前に、製造現場での予備検証を通じて、遠隔点検における現場でのニーズや把握しておくべき条件の特定に協力しました。また、将来的な実用化を見すえて、設備保全エンジニア等の現場作業員が抱えている工場設備点検における負担の原因を掘り下げました。それらを現場の声として、今回の検証条件（振動条件やデータ容量・速度など）に反映しました。
【今後について】
4社は、ロボットの遠隔操作、解析の高度化や、さらなる遠距離環境でのシームレスな映像配信の実現に向けた検討を引き続き推進します。また、複数のロボットやデバイスを用いた映像や音などの環境情報の同時取得や、マルチモーダルAI解析を実施することで、遠隔地現場の様相を高精度かつリアルタイムに把握できる世界の実現を目指します。これにより、点検作業における作業員の負担を大幅に軽減できる他、危険を伴う高所作業での安全性向上など製造事業者が抱える課題の解決へとつながります。今後は、IOWN GFでの意見交換を行いながら、APNを利用したソリューションの創出や新たな機能開発を進めていきます。また、次のステップでは、三菱ケミカルグループの製造現場において、通信環境を整備し、ロボット活用やAI解析による異常検知について、検証を行う予定です。
[注1]APN(All- Photonic Network)は、IOWN構成する主要な技術分野の1つとして、端末からネットワークまで、すべてにフォトニクス（光）ベースの技術を導入し、エンド・ツー・エンドでの光波長パスを提供する波長ネットワークにより、圧倒的な低消費電力、高速大容量、低遅延伝送の実現を目指すものです。
APN環境はAPNを支えるインフラの総称です。
[注2]マルチモーダルAIは、実現したい内容に応じて、さまざまな種類の入力情報を利用して統合的に判断ができるAIです。モーダルとは、AIに対する入力情報の種類（映像、音、テキストなど）を指します。
[注3] IOWN Global ForumはIOWN構想を実現することをめざして設立された国際団体です。 現在、150を超える企業・団体が参画しています。
https://iowngf.org/
[注4] 直線距離は5km程度ですが、本検証では、複数拠点を経由したネットワークとして総距離120kmにて通信させています。五反田は東京都品川区、お台場は東京都港区です。
＊「4DVIZ」は日本国内におけるNTTコムウェア株式会社の登録商標です。
＊「Deeptector」は日本国内におけるNTTコムウェア株式会社の登録商標です。
＊その他の商品名、会社名、団体名は、各社の商標または登録商標です。
