セミナーレポート

超臨場感が現実を変える東京大学大学院 情報理工学系研究科 知能機械学情報学専攻 鳴海 拓志

本記事は、ビジュアルメディアExpo2019にて開催された特別招待講演を記事化したものになります。

>> OplusE 2020年5・6月号(第473号)記事掲載 <<


感覚を変える

 バーチャルリアリティ(VR)は,物理的には存在しないものを,感覚的には本物と同等に本質を抽出して感じさせる技術です。VRは「人のセンシング」,「シミュレーション」,「五感のフィードバック」の3つの技術に分けられます。
 最近は,ヘッドマウントディスプレイ(HMD)が使われることが多いですが,これは基本的には視聴覚だけに働きかけているものです。しかし,現実には,われわれは触覚や臭覚,味覚を含めた五感で世界を確かめています。それらが全部実現できなければ,究極のVRとは言えません。そこで,私の研究では五感にフィードバックする様々な方法を考えています。
 視覚的な工夫だけでもいろいろな五感が実現できます。感じ方を視覚によって変える,その1つが「Meta Cookie」です。VRによってクッキーの映像をリアルタイムにチョコレートクッキーとして見せ,HMDからチョコレートの匂いを出すと,味をチョコレートに変化させることができます。また,食品の見た目のサイズをARで変化させると,得られる満腹感を操作することができます。AIなどの物体認識技術を利用してその人に必要な栄養素を判別してフィードバックすることで,インタラクティブな栄養摂取量の調整が可能になります。レストランなどでもテーブルトップディスプレイを利用すれば,拡張満足感を実現できます。
 古典的な感覚提示モデルでは,目(光)と視覚,耳(音)と聴覚というように,提示する刺激と受け取る感覚は1対1対応です。一方,実世界の物理特性と,知覚された脳内世界の特性は必ずしも一致していません。よく起こる感覚同士の結びつきを脳が覚えると,経験を引き出して違う感覚の情報を補完することが起きます。これをクロスモーダル視覚(現象)と呼びます。先ほどのクッキーの例のように,チョコレートの見た目と,チョコレートの香りという組み合わせだけで,チョコレートの味が来るに違いないという予期が生まれて,味を補正してしまうのです。

<次ページへ続く>

東京大学大学院 情報理工学系研究科 知能機械学情報学専攻 鳴海 拓志

2006年 東京大学工学部システム創成学科卒業。2008年 同大学大学院学際情報学府修了。2011年 同大学院工学系研究科博士課程修了。同大学情報理工学系研究科知能機械情報学専攻助教,講師を経て,2019年より准教授,現在に至る。博士(工学)。JSTさきがけ研究者。バーチャルリアリティや拡張現実感の技術と認知科学・心理学の知見を融合し,限られた感覚刺激提示で多様な五感を感じさせるためのクロスモーダルインターフェイス,身体知覚の変容を通じて人間の行動や認知,能力を変化させるゴーストエンジニアリング技術等の研究に取り組む。日本バーチャルリアリティ学会論文賞,ヒューマンインタフェース学会論文賞,文化庁メディア芸術祭エンターテインメント部門優秀賞,グッドデザイン賞など,受賞多数。

アーカイブもっと見る

超臨場感が現実を変える
超臨場感が現実を変える(5/25) 東京大学大学院 情報理工学系研究科 知能機械学情報学専攻 鳴海 拓志
VR2.0の世界 -AR/VR技術の現在過去未来
VR2.0の世界 -AR/VR技術の現在過去未来(3/25) 東京大学大学院 情報理工学系研究科 教授 廣瀬 通孝

ダウンロード

展示会FAQ