デベロッパー with アップル 第4回

iPhone対応“自動文字起こし”アプリ「UDトーク」賢い使い方を開発者に聞いた

透明ディスプレイ「レルクリア」にUDトークの字幕を表示する方法を青木氏がYouTubeで解説している

VRヘッドセットや透明ディスプレイとの連携

　青木氏はUDトークにVRヘッドセットやクリアディスプレイを組み合わせて、現実世界の視野に自動文字起こしの情報を重ね合わせて見られるソリューションの開拓にも力を入れている。

　UDトークに実装されている「シアターモード」機能がその一例だ。iPhone/iPadのカメラにでリアルタイムにキャプチャしている動画に字幕を重ねられるという機能であり、例えば講演会の話者や手話通訳と一緒に字幕を見ることができるようになる。

UDトークのホームページに紹介されている、iPhone/iPadのカメラで写している動画に字幕を重ねられるシアターモードのイメージ。手話通訳と一緒に字幕を確認できる

　さらにシアターモードの状態で画面を2本の指でタップすると「VRモード」になる。iPhoneなどスマホをそのままVRヘッドセットを装着すると、まさしく現実の風景に字幕を重ねているような没入体験が得られるのだ。

　ジャパンディスプレイが開発した透明ディスプレイ「Raelclear（レルクリア）」を組み合わせると、UDトークから字幕を出力しながら音声コミュニケーションの「見える化」が実現できる。透明ディスプレイに表示される字幕テキストと、会話相手の口もとの動きや表情の両方を同時に見られるので、難聴者や音がきこえにくい方にも自然で快適なコミュニケーションが可能になると青木氏は期待を寄せている。

　4月からはShamrock Recordsとして、国内4ヵ所の学校にUDトークとレルクリアを無償で1年間提供する試みを始めた。青木氏は、生徒の学校生活を支援するコミュニケーションツールとしても役立ててもらいたいという思いを語っている。