AIの現場適用時間を短縮するAutoML（自動機械学習）
【2月16日、17日開催】NEDO「AI NEXT FORUM 2023」で展示される最新AI技術（10）
本特集では、2月16日・17日に開催されるNEDO「AI NEXT FORUM 2023」でも展示される、社会実装に向けた最前線のAI技術を、全10回にわたって紹介する。最後となる第10回は、AI技術の現場適用を加速するAutoML（自動機械学習）についてお届けする。
NEDO「次世代人工知能・ロボットの中核となるインテグレート技術開発」プロジェクト
「自動機械学習による人工知能技術の導入加速に関する研究開発」
現場適用時間を短縮するAutoML（自動機械学習）
人工知能は深層ニューラルネットワークの発展により、文字認識や物体の抽出など様々なことができるようになった。リアルタイムで物体検出する「YOLO」や、姿勢を認識する「OpenPose」などのツールも多数出ており、世界最高峰の技術がフリーで使える。
しかし産総研の大西正輝氏は「どんなデータでもうまくいくわけではない。自分たちのデータで試すとうまくいかないこともある。手法やデータによってパラメータの調整、アーキテクチャの探索などが必要になる」と課題を指摘する。
産業技術総合研究所 人工知能研究センター 社会知能研究チーム・研究チーム長
大西 正輝氏
過去においてはAI技術の開発に多くの時間を費やしていた。それが、世界最高峰の技術がネットですぐに公開される世の中になった。しかも簡単に、フリーで手に入る。しかしながら、実際に現場で使うには人の手による試行錯誤がまだ必要だ。その試行錯誤の時間が短縮されれば、現場導入時間の短縮が可能になる。
大西氏らはハイパーパラメータの自動調整によってAI技術の現場適用を加速するAutoML（自動機械学習）の研究開発に取り組んでいる。プロジェクトには、2つの研究所と6つの大学、そして企業1社が参画している。
ハイパーパラメータ最適化、ニューラルアーキテクチャサーチ、転移学習
目標はAutoML（自動機械学習）によって、人工知能の現場導入時間を、従来の試行錯誤的なランダムな探索に比べて10％以下にすることだ。
基本的には最適化計算をするのだが、問題は最適化をどの程度までやるかだ。「良い答えはすぐに見つかるかもしれない。だが見つからないかもしれない。それをいつまでやるか。いつまで最適化計算をやればいいのか。それを決めるための研究だ」。つまり、最適化の最適停止である。主に統計数理研究所と名古屋大学が担当している。
一回やるたびに、評価も含めて時間がかかる。仮に一回評価するのに１日かかるとすれば、10日あっても10回しか最適化できないことになる。そこで、最適化計算を止める基準を作って実装しようとしている。
AutoMLには具体的には３つの方法がある。一つ目はネットワークのハイパーパラメータを調整するハイパーパラメータ最適化 (HPO)。HPOにはいくつかの方法があるが、古典的な Nelder-Mead 法やベイズ最適化の一種であるTPE（Tree-structured Parzen Estimator）を活用している。これで47%短縮できるという。
２つ目はニューラルアーキテクチャサーチ（NAS）。ニューラルネットワークの構造を人が設計するのではなく、それ自体を自動で探索する方法だ。2022年時点で、一度の探索で複数の異なるサイズのアーキテクチャを獲得できる高速・多目的のワンショットNASを開発しており、他の方法よりも17％速くできている。オープンソースにして広く使ってもらえるようにしながら、実際に使われるにはどういうNASが良いのかを調査しながら進めているという。主に横浜国立大学と筑波大学が担当している。
探索時にネットワークの重みを学習しないゼロショットNASの研究も行なっているが、いまのところ性能や計算コストのバランスを考えて、ワンショットNASを採用する予定だ。「ワンショットは一度だけ重みの学習をする。ゼロショットは一度もしない。普通は何度もするから時間がかかる。ワンショットにしてもゼロショットにしても、重み計算を何度もしないことで計算時間が削減される。そこがキー。速度はゼロショットのほうが速いが、精度はワンショットのほうが適切だと考えている」（大西氏）。
３つ目は転移学習。他のデータセットを使って事前にある程度パラメータを探しておいて他のデータセットに転移させる手法だ。こうすることで、より速く最適化しながら、より良いモデルを作ることができる。学習方法によって特徴量が違うのではないかと考えており、知識転移を用いた自己教師あり学習を研究している。画像識別をターゲットにして、主に中部大学が担当している。
これらを組み合わせて、モデルサイズはできるだけ小さく、かつ、認識精度が高いモデルを作る。小さいモデルであれば組み込みにも使える。一方、計算リソースが潤沢でモデルサイズ自体は大きくなってもいいのであれば、認識精度を優先することもできる。このように、用途に応じて多目的最適化を解くことで、できるだけ精度が高く、かつ、モデルが小さいものをデータに合わせて自動で探索するシステムを開発している。
実問題では画像識別に取り組む
プロジェクト自体では、基礎的な研究から、実際に実問題でソフトウェアを実装する取り組みや、オープンソースで公開することも行っているという。
産業応用については、主に画像識別に取り組んでいる。実問題として、車の写真のデータセットを作ってその自動分類に使えるか、また不動産のデータセットを作って、そちらも同様に検証している。「不動産業者や中古車販売の人たちは、実際に従業員が現地に行って、写真を大量に撮影して手動で分類し、タグをつけている。そして『ここが台所、ここが寝室』、『この車は何の種類で何年式』だといったデータを作っている。それを模擬したデータと識別モデルを作って、自動化を検証している」（大西氏）。
また、東京工業大学と東北大学が担当して、動画像（時系列情報）を処理したり、視覚と言語とを融合したタスクなどにおいては、Transformerのような大規模なアーキテクチャを用いてニューラルネットワークサーチを行うことが有効かどうかを検証したりして、利用の開拓に取り組んでいる。主にこの６本立てでプロジェクトに取り組んでいる。
手軽にハイパーパラメータ最適化ができるソフトウェア「aiaccel」を公開
このほか、ハイパーパラメータ最適化（HPA）、ニューラルアーキテクチャサーチ（NAS）を活用した食品中の異物の自動発見のためのネットワーク自動探索などにも取り組んでいる。
実際のビジネスに即したデータを使った例。写真は食品中の異物検出
また、自分たちのデータに適した方法で自動的にネットワークを作るプログラム「aiaccel（アイアクセル）」をオープンソースソフトウェアとして公開。一部ユーザーに使ってもらって検証している。
aiaccelはローカルでも使えるが、産総研の大規模AIクラウド計算システム「ABCI（AI橋渡しクラウド）」で使うこともできる。HPOモジュールとNASモジュールがあり、HPO最適化モジュールは完成しているが、NASモジュールについては現在実装中の段階だという。
広く使ってもらうためにはバランスが重要
認識精度が一番高くなるパラメータを探索するパラメータ最適化の基礎研究については、基礎だけに応用範囲は広く、最適化に関する問題であれば様々な活用があり得る。いっぽう、アーキテクチャサーチと転移学習は、画像認識への利用を想定して取り組んでいる。
「AI開発には2つの軸がある」と大西氏はいう。「ひとつは高性能で少しでも良い精度のものをという軸。論文の場合はこちらです。しかし、みんなに色々使ってもらおうと思うと精度だけではなく安定性や使いやすさなどのバランスをとったほうがいい」。
このプロジェクトには各技術を開発する大学・研究機関のほか、データ活用に強みを持つ企業として、ブレインパッドが参加している。ブレインパッドには、実データを使ってしっかりと実証実験を回していけるかを検証してもらっているという。中古車販売や不動産という話も、彼らがこれまでに実際に受けたビジネス案件のなかから出てきたものだ。「研究サイドは評価しやすいこともあって学術論文だと精度を競うところがある。しかしビジネスでは精度のみを競っても仕方ない。ブレインパッドには実ビジネスでの使いやすさを評価してもらってます」（大西氏）。
研究開発方法も、時代とともに変わってきたと感じているという。「昔はソフトウェアを自前で作って販売するビジネスでした。それが広く公開して他の人にも使えるようになり、世の中の研究スピードが速くなった。公開することで情報と人が集まるようになっています。開発だけしていてもダメだし、研究だけしていてもダメ。そこで国際会議や論文発表にも力を入れて、活動が周囲から見えるようにしています。周囲から見えるようになれば、人が集まるし、情報も集まる。人と情報が循環する仕組みをどう作るかが重要だなと思っています」（大西氏）。
開発したソフトウェアも基本的にオープンソースで公開している。「みんながコントリビューターになれる時代。輪が広がっていくといいなと思っている」という。ハイパーパラメータ最適化などのモジュールについても公開のコンテストも行っている。「もっと良いモジュールを作れる人もいるかもしれない。aiaccel自体も外部モジュールを組み合わせることができるので、より良いモジュールを探している」とのこと。コンテストは来年度も行われる予定で、広く参加者を募集しているという。
開催概要
名称：AI NEXT FORUM 2023－ビジネスとAI最新技術が出会う、新たなイノベーションが芽生える－
日時：2023年2月16日（木）、17日（金）10時00分～17時00分
場所：ベルサール御成門タワー「4Fホール」（〒105-0011 東京都港区芝公園1-1-1 住友不動産御成門タワー4F）
アクセス：都営三田線 御成門駅 A3b出口直結、都営大江戸線・浅草線 大門駅 A6出口徒歩6分、JR浜松町駅 北口徒歩10分、東京モノレール 浜松町駅 北口徒歩11分
参加：無料（事前登録制）
内容：AI技術に関する研究成果を実機やポスター展示などにより対面形式で解説（出展数：最大44件）、各種講演やトークセッションを実施（会場参加とオンライン配信のハイブリッド形式）
主催：国立研究開発法人新エネルギー・産業技術総合開発機構
運営委託先：株式会社角川アスキー総合研究所
「ASCII STARTUPウィークリーレビュー」配信のご案内
ASCII STARTUPでは、「ASCII STARTUPウィークリーレビュー」と題したメールマガジンにて、国内最先端のスタートアップ情報、イベントレポート、関連するエコシステム識者などの取材成果を毎週月曜に配信しています。興味がある方は、以下の登録フォームボタンをクリックいただき、メールアドレスの設定をお願いいたします。
