このページの本文へ

「Kinect」+「Unity3D」でリアルタイム・フェイストラッキング

2012年07月28日 11時00分更新

文● 鈴木淳也(Junya Suzuki)

  • この記事をはてなブックマークに追加
  • 本文印刷

 Xbox 360用の周辺機器として登場したモーションセンサー「Kinect for Xbox 360」だが、当初のゲーム入力装置という枠を超え、さまざまな研究者や開発者の手によって進化を続けている。もともとはKinect for Xbox 360のハッキングからスタートした試みが、現在ではマイクロソフト公式の開発ツールキットとして「Kinect for Windows」がリリースされ、より高度な仕組みとして実装が始まっている。今回紹介するのもそうした試みのひとつだ。

「Kinect for Windows センサー」

顔の移動や変化をリアルタイム追跡できる
「Face Tracking SDK」

 最新のツールキット「Kinect for Windows SDK 1.5」ではいくつか新機能が付与されており、そのひとつに「Face Tracking SDK」の存在がある。人の顔をスキャンしてその頂点情報を読み込み、顔の移動や変化をリアルタイムで追跡する仕組みだ。

 具体的には顔の振り向きや上下移動、さらには眉の動きから口の動きまでこと細かに把握でき、人の表情を読み取ることができる。複数の顔の同時スキャンも可能で、人の体の動きだけでなく表情も含めた画面のキャラクターのコントロールが行なえる。さらに音声認識と組み合わせれば、リアルな顔ではなく、SNS上の友人とオンラインアバターによる表情の変化を含めたチャットが可能になるなど、いろいろ応用ができそうだ。

「Unity3D」で表情を再現

 今回、MSDNの「Channel 9」が紹介しているFace Tracking SDKを組み合わせた興味深いプロジェクトは、著名なゲームエンジンのひとつ「Unity3D」を利用したものだ。

 Face Tracking SDKで読み取った頂点情報を利用してUnity3Dで人物の3Dイメージを自然な形で動かしている。詳細はBoffswanaで公開されている動画を参照してみるといいだろう。基本的にはFace Tracking SDKをそのまま利用したもので、ここからさらに人物の顔の3Dイメージをより自然な形で動かそうとしている。動画は2バージョンあり、表情があまり動かないやや堅めのものと、口まわりの動きのバリエーションを増やし、より表情が自然な形になったものが紹介されている。ここでは表情豊かなほうをご覧いただこう。

 Face Tracking SDKはさまざまな応用が考えられ、例えば前述のようにチャットで利用したり、3DのMMORPGでプレイヤーによりリアリティを持たせたり、あるいはより実用的に映画やイメージ映像でのCGキャラクターの演技をより自然なものにしたりと、わずか2万円程度の装置とそこそこの性能のPCの組み合わせで本格的な作業が可能になる。

 Kinect for Windowsはさまざまな分野で研究者によって利用されており、例えば筆者が6月に米カリフォルニア州サンフランシスコで取材したIntelの研究開発紹介イベント「Intel@Research」において、関連展示の半分近くでKinectが利用されていた。使い方は壁面ディスプレイでのタッチセンサーの代用であったり、あるいは人物認識やモーションセンサーによるユーザーインターフェイス(UI)用途であったりとさまざまだ。

 現状ではその成果は地味ながら、ひょっとしたら今後Kinectを応用したモーションセンシング技術がさまざまな場所で一躍メジャーな存在になっているかもしれない。

「Intel@Research」で展示されていた「Avator Video Chat」というFace Tracking技術を組み合わせた動画チャット技術。仕組み的には「Kinect+Unity3D」に似ているが、こちらはスマートフォンのような非力なマシンのカメラでもFace Trackingを処理し、低速回線でもビデオチャットが可能になるというデータ圧縮的な意味合いが強い
今年開催されたIntel@Researchでは、このようにKinect for Windowsを使った技術展示が大量に見られた。さまざまな場所で取材している筆者だが、これだけKinectを使った技術展示が一堂に会した例は初めて
■Amazon.co.jpで購入

カテゴリートップへ

注目ニュース

ASCII倶楽部

最新記事

プレミアムPC試用レポート

ピックアップ

ASCII.jp RSS2.0 配信中

ASCII.jpメール デジタルMac/iPodマガジン