【SIGGRAPH 2003 Vol.7】近未来の映像・仮想現実を担うか!?　最先端研究の展示“Emerging Technologies”

2003年08月18日 23時26分更新

文● (有)トライゼット西川善司

“Emerging Technologies”セクションは日本企業や日本の大学の出展が目立ち、ある意味“SIGGRAPH”における“リトルトーキョー”的な存在感すらある。このページでは日本企業、日本の大学のブース展示の様子を中心にレポートしていく。

温度差で抜く新しい合成技術
東京大学“サーモキー合成”

クロマキー合成というものを聞いたことがあるだろう。人間を青あるいは緑の背景の前で演技させ、この背景色に対してのみ別の映像を流し込むことで、背景と人物を合成するクラシックな方法だ。これは色(Chroma)を鍵(KEY)にして合成することからクロマキー合成という。この手法では合成キーとなる色が犠牲になるという弱点がある。動かない背景という前提であれば、映像の差分情報を元に合成する手法もあるが、カラフルな背景でしかも背景も動くといったケースではどちらの方法でもお手上げとなる。


左が通常映像撮影用のビデオカメラ。右側奥にあるのが感熱映像撮影用のカメラ

そこで東京大学工学部電子情報工学科苗村研究室が発表したのか、シーンの温度差で映像の型抜きや合成を行なう技術だ。温度(Thermo)をキーにするということで“サーモキー合成”手法と呼んでいる。

シーンの温度分布を感熱カメラで撮影し、この映像から切り出し領域を判別する。そう、人間は体温があるので、その体温以上の温度分布をキーにすれば背景から切り出すことができるのだ。合成処理はパソコンベースでほぼリアルタイムに行なうことができ、大体数フレーム程度の遅れだけで最終フレーム出力ができるそうだ。まだ合成解像度の課題等があるようだが、これらは色情報などの吟味と合わせて処理することで改善を見込めるという。


ブースでは実際にこのような、クロマキー合成では絶望的な色に溢れた背景を前に、正しく人物を抜き出せる様を実演


サーモキー合成の概念図


実際の合成の様子


デモの一例

3Dグラフィックスの世界に現実世界から干渉する方法
東京大学研究グループ『THE DIMENSION BOOK』

ディスプレーの中に描かれる3Dグラフィックスの世界に対し、もし現実世界から干渉することができたら? そんなテーマに取り組んだ展示が東京大学の学生グループの手によって行なわれた。システムの名称は『THE DIMENSION BOOK』。


手作り感溢れる背面。もし量産されるようなことがあれば、ワイヤレスデザインにしたいとのこと

『DIMENSION BOOK』の基本ハードウェアはごく普通のパソコンに接続された液晶ディスプレー。ここに光学センサー、傾きセンサー、風量センサー、コントロールボタンが取り付けられている。『DIMENSION BOOK』の基本コンセプトは“絵本”。両手で持ち、左右に取り付けられたボタンを押すことでページをめくっていくが、読者(ユーザー)は表示されるページ(映像)を読むのではなく、そこに対して干渉することを楽しむ。


中央が風量センサー。両端に見えるのが光量センサー。光量センサーは下部両端にも付いている


懐中電灯に仕掛けはない。これを画面に照らすことでコンピュータグラフィックスのライティングも変化する。ライトの向きを変えるとちゃんとその通り陰影処理がなされ影も出る

例えば、『DIMENSION BOOK』に懐中電灯を当てると、その光が画面の中の3Dグラフィックスの中に到達する。3Dグラフィックスの暗くてよく見えないところに実物の懐中電灯を当てることで、よく見ることができるのだ。一瞬、「なぜこんなかとができるのか？」と思うかもしれないが、これは画面四隅に取り付けられた光学センサーが光量を察知、この光量分布から光源ベクトルと光源の強さを算出、3Dグラフィックスの世界に反映させるという仕組みで実現している。

このほか、息を吹きかけたり、揺らしたり傾けたりすることでも、3Dグラフィックスの世界は違った様相を見せ、1ページ1ページが小さなアドベンチャーゲームやパズルになっているという印象だ。自作試作機によるコンセプトの展示なので少々重量があるが、これは子供向けの玩具のアイディアとしても素晴らしいと思う。


持って傾けると視点が移動したことになり映像もリアルタイムにインタラクティヴに見え方が変わる


取り付けられた風量センサーは風を察知できるので、画面の中の火を吹き消すことが可能

バーチャルに食が楽しめるマシン
筑波大学岩田・矢野研究室『フードシミュレーター』

バーチャルリアリティーというと映像の世界ばかりを思い浮かべてしまうが、世界各国の研究機関ではバーチャルリアリティーにおけるHaptics(触覚学)の研究も盛んになっている。現在、最も盛んなHaptics研究はコンピュータグラフィックスの世界で物を持ったり重さを感じたり、といった触覚、力覚分野だが、筑波大学は“食覚”とも言うべきテーマの研究に取り組んでいる。


『フードシミュレーター』。筒状の物は電動モーター。ギアの先に洗濯ばさみのようなものが取り付けられており被験者はこれを咬む。咬んだときにはモーターが「咬み応え」をフォースフィードバックするという仕組み。するとやや遅れて透明状の筒から味エキスが飛び出してくる

今回展示された『フードシミュレーター(Food Simulator)』は、データ化した実際の食べ物の歯ごたえや味をバーチャルに再現するシステムだ。展示では、せんべいの歯ごたえと、リンゴの歯ごたえの味を体験できるデモンストレーションを行なっていた。

せんべいの歯ごたえは、せんべいに圧力センサーを仕込み、実際にこれを噛んだときの圧力インパルス応答を記録してデータ化している。物を食べる際には音も重要な要素なので、せんべいを噛んだときの音もサンプリングしている。

実際に、フードシミュレータをくわえて噛むと、そのデータに基づいた歯ごたえが再生され、音はヘッドフォンから再生される。なお、味覚の基本は、甘み/酸味/苦み/辛み/旨味といった要素から構成されているそうで、リンゴはこのうち甘み(糖分)/酸味(酒石酸)/辛み(塩分)/旨味(グルタミン酸ナトリウム)からなるとのこと。

リンゴの体験では、その歯ごたえと音に加え、チューブからこれらの物質がしみ出すことで、リンゴの味までもが体験できるようになっていた。

“得体の知れない管付きのメカをかじる”という見た目の奇抜さに引き寄せられ、人気スポットになってはいたが、現地の来場者にせんべいは馴染みが薄いためわかりにくかった模様。また、リンゴの方も“フルーツ特有の酸っぱい味は分かったがリンゴだというのはわからなかった”という感想を述べる被験者が多かった。現在は一咬み分しか味わえないので、今後はデバイスを小型化して、何回も咬めて味がどんどん出てくるとかなり面白くなりそうだ。


こんな感じで楽しむ。咬んだときの音を聞くためにヘッドフォンも着用する。ちなみに、この『フードシミュレーター』、何度試してもお腹が一杯にならないのは当たり前

人体アンテナでホットスポット
NTTドコモマルチメディア研究所/NTTマイクロシステムインテグレーション研究所『ElecAura-Net』

“ホットスポット”と呼ばれるワイヤレスLAN環境を提供するスペースがあるが、人数が増えてくるとスループットが落ちてきたり、IPの割り当てやポート不足といった問題が出てくる。また、携帯電話などを使った通信は屋内ではうまくいかないことがあるのが困りものだ。

そんな現代の通信環境問題に一石を投じるかもしれないユニークな研究がNTTドコモマルチメディア研究所とNTTマイクロシステムインテグレーション研究所で行なわれている。それは、人間の体をアンテナとして活用した通信システムで、信号媒体は電波ではなく、電界を用いるのが最大の特徴。


電界通信システムの概念図。区切られた床パネル1つ1つに電界送受機とルータが仕込まれているイメージ

電荷と電荷が及ぼす静電気力は離れていても働く。静電気力が及ぶ空間を「電界」と呼ぶが、この電界ベクトルの変化などを信号に見立てて通信を行なうのが電界通信だ。電界は非常にローカルなものであり、長距離通信には向かないが、電波法に縛られないため、帯域は使い放題。通信距離は1m前後。しかし、これをどうやって使うのか、少々イメージが湧きにくい。

たとえばパソコンや携帯電話に電界通信機器を設置する。そして床下にも電界通信機器を内蔵させる。手持ちのパソコンや携帯電話はユーザの体をアンテナとして床下と通信を行なうことしかできないが、床下の電界通信機器を有線で通信インフラに接続しておけば、ユーザーはこの通信インフラを利用できることになる。基本的に数人のユーザーでしか1単位の床を占有しないので無線LANのようなリソースの奪い合いは皆無になる。


ゲームスタイルの展示で盛況のブース。「気を利かせて本格的なゲーム仕立てにしたら、本当のアトラクションになってしまって、なんだか電界通信のユニークさがいまいちアピールできていないよう気がします(笑)」と担当者は笑う

前述のとおり、電界通信は通信範囲が狭いので、それこそ、床にタイル状に電界通信機器を内蔵させなければならないが、高度なシステムチップが小指の爪先以下になる近未来、床のタイルにそうした通信ノードチップを埋め込むことはさほど突拍子もないことではない。十分現実的な未来像だろう。ましてやNTT系のような通信インフラ企業が行なっている研究であるためなおさら現実味を帯びてくる。

担当者によれば、このシステムを利用すれば、逆に屋内や地下でも自分自身の位置情報がわかるGPSライクな使い方もできるだろうという。つまり、タイルに固有情報を持たせることで、ユーザーがどのタイルにいるかを知ることができ、ここから位置情報を知ることができるというわけだ。あるいは、逆にどのタイル誰がいるのかを知ることもできるだろう。

展示では、IEEE 802.11bの物理層を電界通信に置き換える形でインプリメントを行ない、10Mbpsのスループットを実現していた。展示の内容は、ランダムに8色で発光する1×1mの正方形タイルの上を、電界送受機を取り付けたパッドを持って歩いて、目標の色を集めていくというゲーム的な内容になっていた。


これが色取りゲームに使われた電界通信端末。白い部分を右手で掴んでいる間は人体がアンテナとなりネットワークに接続した状態となる