日本マイクロソフトは28日、同社のモーションセンサー「Kinect」をパソコンとつないで活用したナチュラルUIの応用事例や、マイクロソフトの研究部門によるナチュラルUIの最新研究事例について披露した。
説明を担当した日本マイクロソフトCTO、およびマイクロソフト ディベロップメント代表取締役社長の加治佐 俊一氏は、まず日本で開発されたKinectの応用事例をいくつか披露した。東京女子医大の先端生命医科学研究所(FATS)が開発した「非接触型画像操作システム Opect」(オペクト)は、手術中の医師がKinectに向かって手振りで操作すると、それを認識して写真が切り替わったり、3D画像を動かせるというシステム。医師が機器に触れることなく、患者や手術に必要な情報を表示できるため、集中力を切らさず衛生的でもある。3Dについては開発中だが、2D版はすでに現場で利用されているという。
「非接触型画像操作システム」の説明図(左)と、3D画像を操作するデモ。医師は手術に集中しながら、必要な情報を随時モニターに表示できる
東京大学 先端科学技術研究センターと日本マイクロソフトの共同開発による「障碍者活動支援ソリューション OAK」は、重度の障碍で体の動きが制約されている人が、口の開閉や手の動きでパソコンを操作・入力するシステムである。Kinectセンサーで、顔や口の動きを追跡することで機能を実現しており、例えば顎の開閉をPowerPointのコマンドに割り当てて、スライドを次ページに送るといったデモが披露された。このシステムを使えば、例えば操作者の顔が動いても口の動きだけを別に追跡できるため、口の動きによる操作の精度を高められるという。
「OAK」の説明と操作デモ。顔全体だけでなく両目や口の動きを個別に認識して、その動きにコマンドを割り当ててアプリケーションを操作できる
そのほかにも、Kinectを応用した介護施設向けのリハビリテーション支援システム「リハビリウム起立くん」(九州大学とメディカ出版、長尾病院による共同開発)や、体の動きにより空中で書道の書を書く「AIRSHODOU」(システムフレンド開発)といったデモも披露された。医療や介護からエンターテイメントまで、人の体や顔の動きを高精度かつ低コストで認識できるKinectは、体を使ったナチュラルUIの世界を大きく変えつつある。
立つ/座るといった動作を認識して、ゲーム仕立てのアプリケーションでモチベーションを高めながらリハビリに臨める「リハビリウム起立くん」のデモ。右下の赤丸内にKinectがある
加治佐氏自らがデモした「AIRSHODOU」。大きく手を動かすと、その動きが書になる
今回披露された事例以外にも、Kinectの応用事例は広がっている。現在は医療・リハビリ向けとエンターテインメント向けが多いようだが、応用範囲はいくらでも広がるだろう
マイクロソフトの研究部門、マイクロソフトリサーチによるナチュラルUIの研究成果披露では、ワシントン州レドモンドのマイクロソフト本社敷地内(通称マイクロソフトキャンパス)でのビル間移動を支援する「シャトルバスの手配システム」が紹介された。これもKinectとパソコンをベースに構築されている。ディスプレーの前に立った複数の人物を認識して、それぞれの顔や会話を認識しながら、移動先を聞き出して適切なバスを用意するという仕組みである。真正面にいる人物以外に、カメラとセンサーの範囲にいる別の人物も認識して、「あなたはどうするの？」といった具合に声をかけるといった、人間的な応対を実現している。
マイクロソフトリサーチによる「シャトルバスの手配システム」の説明。Kinectを使った人の動きや会話の認識だけでなく、スムーズな音声合成や3D画像によるアバターの動きといったさまざまな要素をまとめている
また、Kinectと同様に赤外線センサーを使って腕の動きを認識する携帯型センサー「Digits」も紹介された。開発機は手首に付けるセンサーを使って腕や手の動きを認識し、コンピューターの操作を可能にするという仕組みだ。Kinectのようにある程度の設置空間を必要とするシステムよりも、手軽に利用できる利点がある。
「Digits」の外観(左)とデモの例。右写真の赤枠内が、センサーで捉えて画面内に表示された腕。操作者が腕や手を動かすと、その動きを画面内でトレースする
Kinectを使ったアプリケーション開発キットである「Kinect for Windows SDK」は、2012年2月のリリース後も改訂を重ねて機能を追加してきた。現在はWindows 8とVisual Studio 2012にも対応している。近日リリース予定の「vNext」と呼ばれる新バージョンでは、Kinectをリアルタイムの3Dスキャナーとして使う「Kinect Fusion」と呼ばれる機能が追加されるという。
次期バージョンの「Kinect for Windows SDK」で追加される「Kinect Fusion」。Kinectを対象物の周囲で動かすと、対象物の3Dスキャンが可能。物単位で識別されるので、テーブルの上のティーポットだけをデータ上で動かすこともできる
