【SIGGRAPH 2003 Vol.7】近未来の映像・仮想現実を担うか!?　最先端研究の展示“Emerging Technologies”

“SIGGRAPH”では、世界各国の大学や企業の研究機関などの最先端の技術の展示が行なわれる“Emerging Technologies”と呼ばれる展示セクションがある。基礎研究中の中間報告的な物から、すでに具体的な製品となっているものまでが混然と並んでおり、そのほとんどが触って楽しめる物になっているので、いうなれば“ミニ万博”的な手応えがある。

完全球体ディスプレー
ARC Science Simulations『OmniGlobe』

米アーク・サイエンス・シミュレーションズ(ARC Science Simulations)社の『OmniGlobe』は、ありそうでなかったPC接続可能な完全球体ディスプレー。スタンド部分に上向きにプロジェクタが取り付けられており、ここから映像を投射する。球体の最上端部に半球ミラーが取り付けられており、ここで投射した映像を拡散反射して球体内部全体に映し出す仕組みだ。原理は意外に単純で、言われてみると「ああ、なるほど」という感じ。ただし、ミラーが取り付けられた部分は映像が投射されないため遮蔽されることになる。これが残された課題といったところだろうか。

展示では古代の地球から現在の地球の姿になるまでの大陸移動の様子をアニメーション仕立てで見せていた

投射映像は半球ミラーで反射することをあらかじめ考慮して歪曲した映像を用意しなければならない。この映像の歪曲処理は『OmniGlobe』の専用ソフトウェアが行なってくれる。OpenGLに対応しているので、投射映像を3DCGで制作することも可能だ。

すでに、インディアナ州立博物館(Indiana State Museum)が導入しているそうで、やはり博物館関係からの問い合わせが数多く来ているとのことだった。

球体部分は要するにプロジェクタースクリーンとなっている。なお大きさは直径1.5mと2.0mのものをラインナップしている

コントラスト比6万:1を達成する超ハイコントラストディスプレー
Sunnybrook TechnologiesのHDRディスプレー

現実世界の晴天時の昼間、太陽光に照らされた白い紙はルミナンス値で1万cd/m²以上の明るさを有する。これに対し一般的なディスプレー装置は数百cd/m²の明るさしか表現できない。長時間見るディスプレーがあまりにも明るくては実用上困るわけだが、映像鑑賞などのようなケースでは、できるだけ映像を現実世界に近い情景として見たいと思うこともあるはずだ。

また最近では、コンピュータグラフィックスの世界で、ハイダイナミックレンジ(HDR)レンダリングという技術が注目を集めており、色演算をRGB各8ビット(1677万色)ではなく、もっと多ビット/高精度に演算を行なって現実世界に近い映像を作り上げようとする試みも生まれてきている。実際、劇場用映画の3DCGはRGB各チャンネルを32ビット浮動小数点実数次元で計算し、最終的な映像をRGB各16ビット浮動小数点実数に丸めて出力している。

Sunnybrook Technologies自体はディスプレーメーカーではないので、ビジネスパートナーを求めて出展したのだそうだ

HDR表現が可能なディスプレーの登場が望まれる中、カナダのサニーブルック・テクノロジーズ(Sunnybrook Technologies)社が、ローコストで実現可能なHDRディスプレーシステムを展示していた。

原理は意外に単純。ディスプレーパネルとして用いるのは通常の液晶パネルでOK。そのバックライトを取り外し、その代わりに液晶パネルの裏側に、白色LEDを24×16のマトリクス配置する。この白色LEDは、バックライトの変わりの役割を果たすのだが、ただ一定の明るさで光るのではない。入力映像の輝度情報をリアルタイムに24×16の超低解像度白黒映像へと変換。これを元に白色LEDを発光させる。

いうなればバックライトを24×16ドットの超低解像度白黒映像にした、というイメージになる。これにより、従来のディスプレーに比べ、映像の暗い部分はより暗く、明るい部分は明るくなり非常に高いコントラストが実現される。

というのも、この白色LEDは最大発光時20万cd/m²以上の輝度を有し、逆に最低0cd/m²の暗さになる。白色LEDは8ビット(0～255)段階で発光し、液晶パネルの方が1677万色パネルでRGB各8ビット制御されるとすれば、ダイナミックレンジ的にはRGB各16ビット相当になる。展示試作機では、その実測コントラスト比は6万:1を達成しているという。

入力映像は従来のアナログ/デジタルRGB各8ビットでよく、ビデオ映像にも対応可能。ちなみに、このHDRバックライトシステムは量産レベルになれば200米ドル程度ではないかという。つまり、それほど高価にならずにHDR液晶ディスプレーが製品化できるということだ。担当者によれば、映像制作、医療業務などへの応用を考えているとのこと。

左がHDRシステムが組み込まれている表示、右が従来のバックライトシステムによる表示。カメラの自動露出補正が効き少々わかりにくい写真となってしまっているのはご了承願いたい

10月発売のPS2用モーションセンサー型コントローラ『EYETOY』には深度センサーが!
Sony Computer Entertainment America『EYE TOY』

欧米地区では10月21日発売予定のPlayStation 2(以下PS2)用モーションセンサー型コントローラー『EYE TOY』を、米ソニー・コンピューター・エンターテインメント・アメリカ(Sony Computer Entertainment America、以下SCEA)社が“Emerging Technologies”セクションにて展示、来場者の注目を集めていた。

『EYE TOY』を使ったダンスゲーム		こんな感じでプレイをする

『EYE TOY』は、マーカー不要のイメージベースでプレイヤーの動きを感知するシステムだ。PS2に『EYE TOY』を接続、これをテレビの上に設置し、自分の上半身が映るように角度を調整。簡単なキャリブレーションの後、すぐに利用できる。『EYE TOY』が捉えた映像はPS2のグラフィックスに合成でき、プレイヤーのライブアクションを検知、画面内への干渉を表現する。画面内に飛ぶ風船を自分の手を動かして割ったり、といったインタラクティビティーが可能となるわけだ。

ブースで展示されていたのはダンスゲームライクなミニゲームと、スケボーゲームの2種類。ダンスゲームでは、『EYE TOY』で捉えたプレイヤーの姿がそのままグラフィックスの中に合成され、プレイヤーは音楽に合わせて画面内四隅に設置されたパッドをタイミングよく叩いていくことで得点を挙げていく。

こちらはプレイヤーの実写映像はないスケボーゲーム		簡単なキャリブレーションを行なった後……		こんな感じでプレイをする。基本的にはマーカー無しでOKの『EYE TOY』システムだが、背景が人混みの場合など、プレイヤーだけでなく背景が動く場合にはこのようにマーカーを持ってプレイした方が認識精度が高くなるとのことだ

スケボーゲームではプレイヤーの姿は一切画面になく、『EYE TOY』を完全なゲームコントローラとして使用する。プレイヤーは自分の手、頭、姿勢を変えることで、画面内のプレイヤーキャラクターを操作しなければならない。例えば障害物をジャンプで避ける場合には、実際にジャンプしなければならないし、障害物をくぐるときには頭をかがめる動作が必要になる。

さて、『EYE TOY』はハードウェア的にはUSB接続のCCDカメラ(320×240ドット、YUV420、60fps)である。非圧縮データを伝送するのはUSB1.1では少々厳しいので基本的な圧縮処理を施してからPS2へ伝送している。なお、PS2にはIPUと呼ばれる映像処理プロセッサがあり、ハードウェアで映像をデコードするので遅延は少ない。モーション認識の処理系もCPUの負荷は数％だそうで、ゲームプログラム側への負担はほとんどないという。

赤く光っているのがデプスセンサー。このデプスセンサー部は米3DVシステムズ(3DV Systems)社が開発を担当したという

そして、今回の展示でSCEAは、『EYE TOY』には隠された機能があることを明らかにした。320×120ドット/60fps、8ビット精度のシーンの深度情報を捉えられる、波長660nmの赤色光を使った“デプス・センサー”だ。

何をするセンサーかピンとこない人も多いだろう。『EYE TOY』ではこのセンサーを使い、被写体の立体的な動きを検知するのだという。例えば、パンチを繰り出したとき、ただのイメージベースのモーションセンサーでは、パンチが前に出されたのか上に出されたのかがまったくわからない。映像として二次元フレームとして動きがあったことがわかるのみだ。これに対し、デプス・センサーはその動きを立体時に捉えられるというわけだ。

このセンサーを活用すれば、いわゆる“本物のモーションキャプチャー”ができるようになるわけで、例えばゲーム中のキャラクタをプレイヤーのライブアクション通りに動かすことができるようになるのだ。

担当者によれば、『EYE TOY』リリース時にはCCDカメラによる2Dモーションセンサーを使用したゲームのみが付属するそうで、このデプスセンサーまでも使ったゲームを付属させるかどうかは未定だとのこと。

『EYE TOY』のデプスセンサーを使ったモーションキャプチャ。人間の動きをトレースしてその動きをゲーム中のCGキャラクターのアクションに反映できる