柳谷智宣の「真似したくなるPC活用術」 第257回

目と目で通じ合う！ Windows 10を視線誘導で操作するワザ

　Windows 10 Insider Previewビルド16257で、Windowsを視線誘導で操作できる「Eye Control」機能が搭載された。早速対応デバイスを購入してテストしたところ、びっくりするくらいきっちり動作したので、早速レビューしてみた。

アイトラッキングデバイスを使うことで、Windows 10を視線だけで操作できるようになる

ALS患者のために視線追跡技術の開発をスタート

　Microsoftは、2014年に筋萎縮性側索硬化症（ALS）を患った元NFL選手スティーブ・グリーソンからメールを受け取った。眼球以外のほとんどの筋肉を動かしづらくなる病気にかかっても、自分で車いすを動かしたり、家族とコミュニケーションを取りたいという内容だ。メールを受け取ったMicrosoftはその後、社内ハッカソンを開催。1週間のうちに「Eye Gaze Wheelchair」という視線操作できる車いすが生み出され、大賞を受賞した。

「Eye Gaze Wheelchair」について議論しているチーム

　Windows開発チームがこの技術に出会ったとき、人々の生活をよりよく変えると直感。エンジニアのチームが組まれ、開発が始まった。そして2017年8月2日、Windows 10 Insider Previewビルド16257にベータ版とはいえ「Eye Control」機能が搭載されるに至ったのだ。

　現在、対応しているのは「Tobii Eye Tracker 4C」というアイトラッキングデバイスのみ。今後のアップデートで、「Tobii Dynavox PCEye Mini」「PCEyePlus」「EyeMobile Plus」や「I-series」もサポートしていくという。

Windows 10 Insider Previewビルド16257で視線追跡機能に対応

現在は「Tobii Eye Tracker 4C」のみが対応している

　早速、「Tobii Eye Tracker 4C」（公式サイト）を購入し、テストすることにした。価格は159ユーロで、日本円で約2万円。本来はゲーミングデバイスだが、さてどんな感じなのか。

　注文してから数日後、細長い箱が届いた。それもそのはず「Tobii Eye Tracker 4C」のサイズは17×15×335mmと細長い。ディスプレーの下に設置するデバイスなのだ。対応ディスプレーはアスペクト比が16：9なら27型まで、21：9なら30型まで。USBケーブルは80cmだが、デスクトップPCなどで使う際に足りない時のために1mの延長ケーブルも同梱している。

細長い箱

本体とUSB延長ケーブル、マグネットシールが同梱されている

想像よりもずっと高精度に視線を追跡してくれる

　付属のマグネットパーツを両面テープでディスプレーの下部に装着する。マグネットシールは2本同梱されており、本体とPCはマグネットで脱着できるので、複数のPCで利用することも可能。

　まずは、Tobiiのウェブサイト（こちら）からドライバソフトをインストールしよう。ウィザードが開きキャリブレーションが始まるので、画面の指示に従って進める。

　途中で、水色のドットを見つめて破裂させるという操作があるのだが、もう普通に見つめるだけでいいことに驚いた。適当にデバイスを装着し、眼鏡をしたままで操作しているのに、見つめたドットが次々と破裂していくのだ。

マグネットシールを貼る

本体をマグネットに装着する

ドライバーをインストールする

ウィザードに従ってセットアップを進める

指示に従って見つめると破裂するのが面白い

プロフィールを保存する

　続いて、WindowsでTobii製品を使うためのページ（こちら）を開いて、「Download」をクリックして修正プログラムをインストールする。その後、Windows 10の設定から、「簡単操作」→「その他のオプション」を開くと「視線制御（β）」スイッチが出現する。

「How to get started with Eye Control on Windows.」から「hot fix release 2.10.11.6458」をインストールする

「設定」→「簡単操作」→「その他のオプション」に「視線制御（β）」スイッチが現れた

慣れは必要だが視線でWindows 10を操作できるのは楽しい

　「視線制御（β）」をオンにするとEye Controlのランチャーが表示される。左側から、ランチャーの位置の変更、キーボード、テキスト読み上げ、マウスの4つだ。目で見つめると、フォーカスが現れ、視線を動かさないでいるとそのフォーカスが縮まり、決定となる。

「視線制御（β）」をオンにするとEye Control launchpadが表示される

画面の1点を見つめるとフォーカスされ、そのまま見つめていると決定となる

矢印のアイコンを選択すると、ランチャーが上下に移動する。操作の邪魔になるときに利用できる

　まずはマウスでスタートメニューを開いてみる。マウスアイコンを視線で選択すると、マウスポインターの選択画面になる。画面全体を自由に視線でポインターが動くのは感動だ。1点を見つめると、アクションパネルが開き、クリックや右クリック、ダブルクリックなどが可能になる。視線が少しずれた場合は、上下左右の矢印で場所の微調整もできる。

スタートボタンの当たりを見たのだが、少しずれてしまった。下の矢印を見つめる

フォーカスが移動したのでクリックを見つめる

スタートメニューが開いた。同様の操作でアプリなども起動できる

　キーボードアイコンを選択すると、ソフトウェアキーボードが起動して入力できるようになる。現在は、EN-USキーボードのみに対応している。とはいえ、日本語環境であれば、日本語変換も可能。基本操作と同様、キーを見つめれば入力でき、変換候補を選んだり、Enterキーを選ぶと確定できる。

　筆者は、ひとつのキーに集中して目を動かさない、というのが難しかった。普段はキーボードを見ないため、どうしても入力している画面の方を見てしまいそうになるのだ。とは言え、ゆっくりタイピングすれば、普通に認識してくれるし、変換候補も出るのでそこまで不自由にも感じない。

キーボードアイコンを見つめて選択する

キーボードが起動する

一文字一文字見つめ、候補を選択することで文章入力できる

　Eye Controlには「Shape-writing」という機能も搭載されている。一文字一文字をがっつり見つめず、タイプするようにキーを見ることにより、単語を予測してくれるというものだ。これは初期設定でオフになっているので、「Fn」キーを選び、設定する。

　「Shape-writing」をオンにすると、最初に文字を選んだらその後は次のキーに視線を動かすだけでいい。移動中はグレーの軌跡が表示される。最後の文字まで視線を動かすと、そのキーの上に候補が表示され、問題なければそのまま入力される。違う場合は上部の候補から選べばいい。

　英単語であれば、普通に入力できた。視線なので頻繁に誤入力もするのだが、きちんと補正して認識してくれる。英語圏であれば、相当便利に使えそうな機能だ。

「Fn」キーを選ぶと「Eye Control Settings」が開くので、「Shape-writing」をオンにする

「Shape-writing」は英語キーボードのみなので、USキーボードに切り替えておく

「Shape-writing」キーを目で見て、オンしたら入力開始。ここでは「and」と入力してみた

「Faster」と目で追ってみる。慣れてないので「d」にも視線が一瞬飛んでしまう

「r」まで進むと、きちんと入力できた

テキスト読み上げモードで会話する

　「text-to-speech」機能を使うと、視線で家族や友人と会話できる。「text-to-speech」を選ぶと、画面が切り替わる。画面上部に5つの定型文が並び、下にキーボードが表示される。上部の定型文を視線で選ぶと、即音声が再生される。初期設定では「Yes」「Wait」「No」「Hello」「Goodbye」が登録されている。

　定型文の編集は左上のペンアイコンを見つめてから、ボタンを見つめればいい。編集画面に表示されるので、キーボードで入力する。入力が終わったら、もう一度ペンアイコンを見つめれば完了だ。

左上のペンアイコンを見つめて「Goodbye」を見つめる

新しい定型文を入力する

定型文を登録できた

　通常の文章は、中央のフォームに入力する。「I'm glad to meet you」と入力する際も、「i」と「gl」「m」のみ入力しただけで、後は候補から選択できるのでそれほど苦にならない。その後、再生ボタンを押せば音声が流れる。上下の矢印アイコンで会話の履歴から再度再生することもできるし、停止アイコンで再生を中止することもできる。

英語の文章入力は候補を選んでいけば簡単

再生ボタンを押すと読み上げてくれる

　現在、既知の問題としては直射日光の当たる場所ではうまく動作しなかったり、別の場所に移動したときはキャリブレーションし直しになることがある。「Shape-writing」で入力しているときにポインタが固まったり、テキスト読み上げ時にランチャーがフォーカスを奪ってしまうこともある。これらは今後のアップデートで解消されるだろう。

　Windows 10が標準機能で視線追跡デバイスをサポートしたのはすごいことだ。もちろん、視線で入力したいという人にとっては福音となるだろう。なにせ、Windows 10のフル機能を普通に操作できるのだ。また、やはり物理的な操作なしで動かせるという体験は素晴らしかった。数時間操作すると目の筋肉が疲れるという珍しい体験もしたが、アイディアによってはまったく新しい活用法も生まれそうだ。Microsoftが手がける次のハードウェアでは、ぜひ視線追跡機能付きのカメラを内蔵してほしいところだ。

筆者紹介─柳谷智宣

1972年生まれ。ネットブックからワークステーションまで、日々ありとあらゆる新製品を扱っているITライター。パソコンやIT関連の媒体で、特集や連載、単行本を多数手がける。PC歴は四半世紀を超え、デビューはX1C（シャープ）から。メインPCは自作、スマホはiPhone＋Xperia、ノートはSurface Pro3とMacbook Air。著書に「銀座のバーがウイスキーを70円で売れるワケ」（日経BP社）、「Twitter Perfect GuideBook」（ソーテック社）、「Dropbox WORKING」（翔泳社）、「仕事が3倍速くなるケータイ電話秒速スゴ技」(講談社)など。筋金入りのバーホッパーで夜ごとバーをハシゴしている。好きが高じて、「原価BAR」を共同経営。現在、五反田・赤坂見附・銀座で営業中。