統合型AR技術「SmartAR」インタビュー

ARはまだ始まってもいない　ソニーが突破した4つの「制約」

　ソニーの統合型AR技術「SmartAR」は、文字通りスマートフォンで動かせるAR（拡張現実）技術だ。「空間認識」「高速追従」「3D空間AR」「ARインタラクション」という4つの技術を見事に組み合わせ、発表会のデモで参加者の度肝を抜いた（発表会記事）。

　ARと言われて思い出すのは、ゲーム「ラブプラス」シリーズのキャンペーン企画「熱海ラブプラス現象（まつり）」。熱海市内の観光スポットに置かれた特設ARマーカーをiPhoneアプリで認識させると、ARとしてゲームの「カノジョ」が表示されるというものだ（詳しくはレポート記事をどうぞ）。ただ、そのときはARマーカーが必要だった。だが今回のSmartARはマーカーを使わない。写真やパネル、あるいはワンピースなどの物体でも認識する。さらに一度CGが出てくると、認識対象がカメラから見切れても、そのまま表示し続けてくれる。

従来のARではCGを出す際、カメラで左のようなARマーカーを認識する必要があった

(c) Konami Digital Entertainment

SmartARはマーカーが必要なく、ワンピースのような物体でも登録／認識できる

　そんなSmartARには、同社のロボット「QRIO」の認識技術が使われている。まさにソニーの叡智の結晶だ。そこで気になるのは、「ARとしてどんな技術革新があったのか？」ということ。さっそくソニー開発陣にインタビューしたところ、意外な答えが返ってきた。

話を聞かせてくれたのは、このお二人！

システム技術研究所 知的システム研究部 画像認識技術担当部長 主任研究員 芦ヶ原隆之氏

システム技術研究所 知的システム研究部 IBISグループ リサーチャー 福地正樹氏

新技術よりも「使える形」
それが一番重要だった

――　まず、SmartARのどこが新しいのかを教えてください。

芦ヶ原　3つの技術が1つに統合されているというのが新しいところかなと思います。たとえば、物体を認識しながら環境を3Dで認識したり。

福地　実際、マーカーレス方式のARはこれまでにもありました。モバイルできっちり動くものはあまりなかったのですが、それでも“まあそれなりに速いんじゃないか”というくらいのささいな違いでしたから。

「3つの技術が1つに統合されているところが新しいところかなと」（芦ヶ原さん）

――　とすると、これは「ソニー開発の新しいAR技術」というわけではない？

福地　「ARを発明した！」とかそういうことではなくて、これまで開発してきた技術を、ユーザーが「使える」と思える形にしたんです。たまたまこのタイミングで、良いARと、良い物体認識と、良いデバイスがあった。

芦ヶ原　だから「統合型AR」なんですよね。

――　なるほど。するとインターフェースへの目線が大きかったわけですか。

芦ヶ原　「気持ちよく使ってもらうためにはどうすればいいか？」ということでしたね。たとえば（ARで）せっかく出したCGがどんどん消えちゃうってイヤじゃないですか。でも、環境認識と合わせれば消えないようにできる。

福地　開発した後に初めて気づいたんですが、今までのARは「制約」がたくさんあったんです。SmartARはその制約をひとつずつ外していたんですね。「対象（ARマーカー）が白黒じゃなきゃいけない」「パソコンじゃなきゃ使えない」「ずっと同じところを撮らなきゃいけない」「カメラをかざしっぱなしにしなきゃいけない」――そういったARの制約をひとつずつ外していったことで、使いやすいものになった。

「ARの制約を1つずつ外していったことで、使いやすいものになった」（福地さん）

――　開発中に気づいていなかったというのが不思議です。

芦ヶ原　これまでのARを実際に使っているときは感じなかったんですけど、いざ解放されてみると「あれって制約だったんだ」と気づかされるんですよ。「ARってなんか使いづらいよね」という感覚はそういうところにあったんじゃないかと思います。

福地　みんなどこかで問題意識としては持っていたんですよね。いざデモをやったとき、「なんでみんなこんなに喜んでくれたるんだろう？」と考えたら、ハッと制約の存在に気づいたんです。それが「未来きたー！」という感覚につながってるんじゃないかと。

――　なるほど。すると、意地悪ですが限界が知りたくなってきます。たとえば高速追従性に関して言えば、高速なF1カーを追従してARを出したりもできますか？

福地　これは相対的にどれだけ速いかという話なので、シャッター速度が速ければ大丈夫です。ボケボケになってしまうとまずいですが、そうでなければ大丈夫です。ただ、フレームレートはある程度高くなければいけません。最初のフレームに映っていた対象が次のフレームで完全に消えていたら認識できないので。

――　今は30fpsですよね？　それは将来もっと速くなるんでしょうか。

福地　スピードに関しては、個人的には「（認識対象を）落としても、（CGが）付いていったら勝ちだな」と思っていたところがあったんですね。で、いざやってみたら、パネル（認識対象）を落としても大丈夫だったので「やったな」と（笑）。

（次ページに続く）