メタ傘下のメタAIは4月13日（現地時間）、素人が描いたイラストをアニメーションに変換するプロジェクト「Animated Drawings」を公開、あわせて約18万点の注釈付き手描きイラストのデータセットと、それを動かすためのアニメーションコードを研究者向けに公開した。
世界中の子供達が投稿した絵をトレーニングに使用
プロジェクトはメタAIのFundamental AI Research（FAIR）チームが2021年の12月に公開した、AIのトレーニングに使用するためのサンプル画像を収集することを目的としたデモサイト「Animated Drawings Demo」に端を発する。
アニメーション生成の手順
デモサイトは、1枚の画像からアニメーションを生成するタスクを、人物の検出、セグメンテーション、ポーズ推定、アニメーションという一連のサブタスクとして構成し、限られた動きではあるが誰でもその効果を試せるようになっていた。
上記は筆者が適当に描いたイラストを「Animated Drawings Demo」を使ってアニメーション化したもの。
20個以上用意されているアニメーションのテンプレートから選ぶだけで踊る、笑う、走るなどイラストに様々な動きを付けることができる。また、作成したアニメーションをダウンロードしたり、SNSでシェアしたりすることも可能になっている。
オープンソース化の意味
データセットを使って機能を拡張された例
このデモサイトでは限られた動きしか作成できないにも関わらずユーザーの反応は好調で、最初の数ヶ月で160万枚以上、最終的には世界中の320万人を超えるユーザーから670万枚もの画像と画像に関する注釈がアップロードされた。
ただし、その中には想定された素人の描いたキャラクターだけではなく、動物や鳥、アニメのキャラクター、会社のロゴなど様々なものも含まれていた。
また、多くのユーザーから、複数のキャラクターや笑顔、まばたき、視線の合図といったアクションなど、より多くの機能を求めるフィードバックがあった。
そこでチームはこの画像の中から、研究チームに協力することを選択した画像をさらに人間の手でフィルタリングし、実在の人物の写真やIPで保護されているキャラクター、プライベート・不適切な内容が含まれているイラストなどをすべて省き、新たに約18万点の注釈付きデータセットを作成した。
重要なのは、このように多様なイラストを含んだ注釈付きのデータセットと、絵を動かすためにトレーニングされたアニメーションコードが共にオープンソースで公開されたことだ。これにより開発者はイラストをアニメーションに変換する独自のアプリを開発できるだけではなく、新たな機能を拡張することも可能になる。
AIモデルをトレーニングまたは微調整する際に必要となるデータセットを作成するには多額の費用と時間がかかるため、自力で作成できる一部の巨大企業以外は公開されたデータセットを利用するしか選択肢がない。
今回のメタAIの施策は在野のAI研究者やオープンソースコミュニティーへの大きな貢献となるだろう。
