マイクロソフト、KinectやナチュラルUIの研究成果を披露

2013年01月28日 18時42分更新

文● 小西利明／ASCII.jp編集部

　日本マイクロソフトは28日、同社のモーションセンサー「Kinect」をパソコンとつないで活用したナチュラルUIの応用事例や、マイクロソフトの研究部門によるナチュラルUIの最新研究事例について披露した。

　説明を担当した日本マイクロソフトCTO、およびマイクロソフトディベロップメント代表取締役社長の加治佐俊一氏は、まず日本で開発されたKinectの応用事例をいくつか披露した。東京女子医大の先端生命医科学研究所(FATS)が開発した「非接触型画像操作システム Opect」(オペクト)は、手術中の医師がKinectに向かって手振りで操作すると、それを認識して写真が切り替わったり、3D画像を動かせるというシステム。医師が機器に触れることなく、患者や手術に必要な情報を表示できるため、集中力を切らさず衛生的でもある。3Dについては開発中だが、2D版はすでに現場で利用されているという。

「非接触型画像操作システム」の説明図(左)と、3D画像を操作するデモ。医師は手術に集中しながら、必要な情報を随時モニターに表示できる

　東京大学先端科学技術研究センターと日本マイクロソフトの共同開発による「障碍者活動支援ソリューション OAK」は、重度の障碍で体の動きが制約されている人が、口の開閉や手の動きでパソコンを操作・入力するシステムである。Kinectセンサーで、顔や口の動きを追跡することで機能を実現しており、例えば顎の開閉をPowerPointのコマンドに割り当てて、スライドを次ページに送るといったデモが披露された。このシステムを使えば、例えば操作者の顔が動いても口の動きだけを別に追跡できるため、口の動きによる操作の精度を高められるという。

「OAK」の説明と操作デモ。顔全体だけでなく両目や口の動きを個別に認識して、その動きにコマンドを割り当ててアプリケーションを操作できる

　そのほかにも、Kinectを応用した介護施設向けのリハビリテーション支援システム「リハビリウム起立くん」(九州大学とメディカ出版、長尾病院による共同開発)や、体の動きにより空中で書道の書を書く「AIRSHODOU」(システムフレンド開発)といったデモも披露された。医療や介護からエンターテイメントまで、人の体や顔の動きを高精度かつ低コストで認識できるKinectは、体を使ったナチュラルUIの世界を大きく変えつつある。

立つ/座るといった動作を認識して、ゲーム仕立てのアプリケーションでモチベーションを高めながらリハビリに臨める「リハビリウム起立くん」のデモ。右下の赤丸内にKinectがある

加治佐氏自らがデモした「AIRSHODOU」。大きく手を動かすと、その動きが書になる

今回披露された事例以外にも、Kinectの応用事例は広がっている。現在は医療・リハビリ向けとエンターテインメント向けが多いようだが、応用範囲はいくらでも広がるだろう

　マイクロソフトの研究部門、マイクロソフトリサーチによるナチュラルUIの研究成果披露では、ワシントン州レドモンドのマイクロソフト本社敷地内(通称マイクロソフトキャンパス)でのビル間移動を支援する「シャトルバスの手配システム」が紹介された。これもKinectとパソコンをベースに構築されている。ディスプレーの前に立った複数の人物を認識して、それぞれの顔や会話を認識しながら、移動先を聞き出して適切なバスを用意するという仕組みである。真正面にいる人物以外に、カメラとセンサーの範囲にいる別の人物も認識して、「あなたはどうするの？」といった具合に声をかけるといった、人間的な応対を実現している。

マイクロソフトリサーチによる「シャトルバスの手配システム」の説明。Kinectを使った人の動きや会話の認識だけでなく、スムーズな音声合成や3D画像によるアバターの動きといったさまざまな要素をまとめている

　また、Kinectと同様に赤外線センサーを使って腕の動きを認識する携帯型センサー「Digits」も紹介された。開発機は手首に付けるセンサーを使って腕や手の動きを認識し、コンピューターの操作を可能にするという仕組みだ。Kinectのようにある程度の設置空間を必要とするシステムよりも、手軽に利用できる利点がある。

「Digits」の外観(左)とデモの例。右写真の赤枠内が、センサーで捉えて画面内に表示された腕。操作者が腕や手を動かすと、その動きを画面内でトレースする

　Kinectを使ったアプリケーション開発キットである「Kinect for Windows SDK」は、2012年2月のリリース後も改訂を重ねて機能を追加してきた。現在はWindows 8とVisual Studio 2012にも対応している。近日リリース予定の「vNext」と呼ばれる新バージョンでは、Kinectをリアルタイムの3Dスキャナーとして使う「Kinect Fusion」と呼ばれる機能が追加されるという。