大型ダンプを後付けで自動運転化！「現場での動き」に連携するAI

　本特集では、2月16日・17日に開催されるNEDO「AI NEXT FORUM 2023」でも展示される、社会実装に向けた最前線のAI技術を、全10回にわたって紹介する。第5回は、後付けで大型ダンプを自動運転にできるAIだ。

レトロフィット自動化建機で中小事業者の作業の効率化を

　東北大学 未来科学技術共同研究センターの大野和則氏らは、ロボットを後付けで乗せて大型ダンプの運転を自動化できるシステムを開発している。

　土木建設分野の作業自動化ニーズは高い。現場作業の担い手は減少し、高齢化している。いっぽう、改善は進んでおらず、作業は労働集約的だ。大手企業ではダムなどの建設自動化は進めている。だが事業者の94%は地方の中小企業であり、彼らが使える自動化建機はない。

　中小事業者には投資余力が少なく、高額な自動化建機を購入できない。またそれ以前に、自動化建機を売ってもらえないことが多い。中小事業者はレンタル建機を使っていることが多いが、レンタル事業者自身も自動化建機を持っていない。よって、中小事業者が自動化することは難しい。こういう背景がある。

　そこで大野氏らは、市場に豊富にある既存建機を利用した自動化を提案している。レトロフィット、すなわち「後付け」で既存の建機を自動化し、中小事業者に提案しようというものだ。

土砂運搬ダンプトラックの自動化

　具体的には、人が操るバックホウと連携して、土砂を運搬するダンプトラックの自動化に取り組んでいる。積載量40tを超えるダンブだ。これは一緒にNEDO事業を進めている佐藤工務店のニーズによるものだ。

「山を切り崩して谷を埋めると道路や平地ができる。そういった作業を行なっている人が全国にたくさんいる。単純作業の定型テンプレートは色々な現場で使えそうだなと思っている」（大野氏）。単純土砂運搬作業の自動化により、人手不足解消だけでなく、コスト削減、工期短縮、省エネ、CO2削減などにも貢献することを目指す。

　ダンプトラックやバックホウなど建機の自動化が難しい理由の一つは、人が運転することを前提としているため、バケットや本体の姿勢を計測するセンサーなどがついてない点だ。そこで、まずは建機の状態を計測するセンサーを各所に付けられるようにし、自動化システムを開発する必要がある。それら一連の技術開発に取り組んだ。

　実際に開発したものは、建機の運転席に後付けで搭載するロボットである。車両がどちらに向いているかといった情報から、操舵角度やアクセル、ブレーキなどを制御ボックスから操作できるようにした。運転を自動化するための知能化ソフトウェアの開発も行っている。つまり、人が操作するバックホウと連携するダンプのためのAIを開発した。

臨機応変に対応できる自動化技術を開発

　目的は、人が操縦する建機と一緒に作業を行うダンプの自動化なので、人によるバックホウ作業を予測する必要がある。通常の現場では、人間の運転手がバックホウの動きやその運転手を見ながら運転している。それをAIで実現しようというわけだ。

　大野氏は「人の判断が入りやすい臨機応変なシステムのほうが使われやすい」と語る。土木の現場では、作業場所を人は細かく変えていく。作業者の判断で作業の流れや位置は動的に変わっていく。そこで、事前にきっちり計画して動くのではなく、臨機応変に作業位置を変えたときにも即座に対応できる作業・経路計画技術の開発を目指した。

　また、人は周囲に何もないところは速く、他の人が作業したりしているところでは速度を落とすよう運転する。それと同様に周囲の環境を見ながら効率性と安全性を両立させる走行制御技術を開発した。いま、現場で徐々に使われるようになりつつあるという。このほか、建設現場は公道とは異なるローカルルールが多いが、それを理解して対応する技術も現在開発中だ。

バックホウ動作を認識しながら適応的に動作する自律ダンプ

　大型ダンプトラックの土砂運搬作業を具体的に見てみよう。人が作業するバックホウは位置を変えながら作業を行う。ダンプはそこに荷台を向けて近づき、土砂を積んで、切り返して移動、積み下ろしを行う。基本的には、この運搬という単純作業を自動化するものだ。

　そのために、バックホウの３箇所に姿勢を計測するための後付けセンサボックスを開発した。バックホウの姿勢や位置の情報はAWS経由でダンプの運転席のパソコンまで飛んでいって処理されることで、実際の動作をリアルタイムで可視化できる。バックホウの位置もわかるので、それによって柔軟な経路計画の立て方もできるようになる。それぞれの処理は基本的にローカルで行われる。携帯電話網やWi-Fiが使える現場を想定している。ほとんどの現場では大丈夫だという。

　バックホウが作業しているときにはアーム・ブームの旋回半径に入ってはいけない。自動化ダンプも作業中は近づかない。作業が終わって積み込み姿勢になったら近づく。こういったことを判断する技術も開発した。たとえばバックホウが土砂を均しているときは積み込み姿勢である確率が低いが、積み込み姿勢の確率が一定値を超えると近づくといったしくみだ。

　合わせて、GNSSとLiDARを搭載したドローンによる高精度三次元計測技術も開発した。10cm未満の精度で測位して、自動運転に利用する占有格子地図を作る。これを使って経路計画を行う。

柔軟な経路生成に基づいて後付け運転ロボットがダンプを運転

　ダンプを実際に運転する後付け運転ロボットは、コーワテック株式会社による遠隔建機操縦ロボット「SAM」をベースに知能化やセンサーなどを加えて開発した。最初はロボットを椅子の上に載せていた。だがそれでは人が乗れなくなりロボット専用になってしまう。現場では人が乗りたい場合もあるということで、いまは人が乗った状態でも自動運転できるように、各パーツをシフトレバーチェンジやハンドル操作部などに分散して配置した。

　システムは目標が新しい位置に移動しても、高速で経路を再計画できる。走行中に障害物があってもリアルタイムに経路を作り替える。目標位置が変わっても着いていくことができる。これらを統合すると自動運転ができる。

　車両は計画経路に沿って動く。アクセル・ブレーキ・ハンドル等はすべてロボットが操作する。積み下ろし位置で荷台を上げ下げするのもロボットが操作する。積み下ろしが終わると、再び積み込み位置までの経路を計画して動き始める。

　このように人の作業位置に合わせて経路をリアルタイムに計画しつつ、バックホウの位置をもとに経路を決められる技術を開発した。露天掘りのような現場ではほぼ始点位置は固定できる。だが中小企業が手がける現場では状況がどんどん変わっていくので、柔軟な経路計画が必要だという。また、雪があるような悪い足場や、狭隘な道しかない場所でも走行できることを確認している。自動運転システムは、車輪やクローラ移動するものなら他のものへの横展開も可能だという。

「現場での実際の動き」の情報を埋め込んだ経路計画

　現場で実際に運用するには、各現場のローカルルールに従う必要がある。たとえばバックホウがダンプに土砂を積んで運ぶ作業一つとっても、AIに単純に最適な経路を計算させるだけでは現場の人からダメだと言われるという。「ロボット屋が考えるエネルギー最小とか、最適経路を見せると『こんな動きしないよ』と言われる。『どうしてだめなのか』とよくよく聞くと、今は何もない平らな土地だけど、ふだんは資材置き場があって、『そこには轍を作りたくないから走らないでくれ』と言われるわけです。でも普段そこがどう使われているかは、そのときの情報だけはわからない」（大野氏）

　そこで、現在研究として進めているのは、ドローンで毎回地形情報を計測し、三次元情報のなかに何が写っているかを解析。セマンティック・セグメンテーションで、どのエリアにどのくらいの確率でバックホウがあったかを確率的に表現するというものだ。

　よく資材が置かれている場所、建機が置かれている可能性が高い場所、作業者の自家用車が置かれている可能性が高い場所、ダンプが置かれている可能性が高い場所などが確率でわかるほか、使われ方の変化も可視化できる。「たとえば『このあと山を削るために置き場を変えた』といったこともわかる。セマンティック（意味）を考えて経路計画を立てられるようになった」（大野氏）

作業者との親和性も重視した動き

　人との親和性も重要だ。最適な動きだけで考えると、車両はひたすらバックで高速で走行するような動きになりかねない。それでは周囲で作業する他の人たちの作業と馴染まない。

　たとえば現場では２台運用していて、１台はロボットによる自動運転、１台は人が運転するという状況もある。そういう場合、自動運転ダンプも、人と同じような動きをしないと混乱してしまう。そこで、人と同じような運転を行い、停車位置も人と同じ場所で止めるようにしているという。

「将来は全体が完全自動になるかもしれませんが、その前に『混在』だと思います。それに使えるような自動化技術を作っています」

　経路計画アルゴリズムそのものもデータ駆動で、従来手法を拡張して行なっている。「その場所、その人にフィットしたパーソナライズが重要。それが汎化が重視される認識との違いです。汎化よりは目的に合わせた動作にフィッティングしていったほうが実用に近い。共通概念よりも、独自ルールに合わせた動作をフィッティングすることで、現場に合わせた動作を作っていこうとしています」（大野氏）

レトロフィットによる活用ブレイクスルーを目指す

　現在、研究開発のベースは、ほぼ終わったと考えて、技術を実際の現場に適用して、土砂・砕石運搬ができるのか実証実験を進めている。社会実装を進めるために2021年にレトロフィットによる建機の自動化を進める会社としてR-GEAR社を設立。まずはNEDO 講座を開いてどんな自動化ができるのかを体感してもらおうとしている（https://retrofit-ai.com）。

　技術自体はそれなりにできたが、大野氏は「本当の現場で使うには、それなりに大きな山がある。現場が技術を許容して使ってくれるには、まだ数年はかかる」と考えている。

　今後は、企業との取り組みでは使えるものをどんどん取り入れてもらい、ローカルルールの理解等については大学での研究を進める予定だ。「ローカルルールには我々が知らないものも多いです。それをどう抽出していくかは大きな研究テーマです。現場の人は当たり前と思っているけど、そうではないこともすごくある。良いものであれば他の現場にも適用すればいいし、そうではない場合は改善を促す。そこまでできる企業が育つかどうかはわかりませんが、強みになっていくといいと考えています」

　ユーザー側が活用することで、アイデアが生まれ、新しい課題解決・適用事例が増えることを期待していると大野氏は語る。「まずは、一般の建機を持っている方に自動化建機を利用したいときに『後付けでもできる』という選択肢を理解してもらいたい。そうすることで『次はここにも使ってみたい』というユーザー側のアイデアが出てくることを期待しています。まずは、使える自動化技術を作った。次はこれを使ったブレイクスルーを起こしたいです」。

開催概要
名称：AI NEXT FORUM 2023－ビジネスとAI最新技術が出会う、新たなイノベーションが芽生える－
日時：2023年2月16日（木）、17日（金）10時00分～17時00分
場所：ベルサール御成門タワー「4Fホール」（〒105-0011 東京都港区芝公園1-1-1 住友不動産御成門タワー4F）
アクセス：都営三田線 御成門駅 A3b出口直結、都営大江戸線・浅草線 大門駅 A6出口徒歩6分、JR浜松町駅 北口徒歩10分、東京モノレール 浜松町駅 北口徒歩11分
参加：無料（事前登録制）
内容：AI技術に関する研究成果を実機やポスター展示などにより対面形式で解説（出展数：最大44件）、各種講演やトークセッションを実施（会場参加とオンライン配信のハイブリッド形式）
主催：国立研究開発法人新エネルギー・産業技術総合開発機構
運営委託先：株式会社角川アスキー総合研究所

「ASCII STARTUPウィークリーレビュー」配信のご案内

ASCII STARTUPでは、「ASCII STARTUPウィークリーレビュー」と題したメールマガジンにて、国内最先端のスタートアップ情報、イベントレポート、関連するエコシステム識者などの取材成果を毎週月曜に配信しています。興味がある方は、以下の登録フォームボタンをクリックいただき、メールアドレスの設定をお願いいたします。