ElaMorph Projection: ダイナミックプロジェクションマッピングを用いた物理シミュレーションに基づく3次元物体の変形錯視
概要
近年，拡張現実感の一種として，プロジェクタ等を用いて現実世界の物体に付加情報を提示するプロジェクションマッピングと，その応用が注目を集めています． 中でも，計算機の高性能化や，高速に撮像や投影を行うことのできるデバイスの台頭により，ダイナミックプロジェクションマッピングという，素早く動いたり変形したりする物体に対してもぴったりと貼り付いた映像を投影できる技術が可能になりました． 本研究では，そのようなダイナミックプロジェクションマッピング技術の一種として，運動する剛体の3次元物体の形状を，仮想的な物理的特性に基づいてあたかも変形したかのように見せる手法を提案します．これにより，例えば図1のように，剛体であるはずの投影対象が弾力を持ってぷるぷるしているような錯視を感じる表現が可能になります．
1. 投影画像が背景にはみ出さない高速変形アルゴリズム
以前にもプロジェクションマッピングにより対象が変形したかのような体験を提示する手法は提案されていますが，いずれも事前に作成したアニメーションを用いて投影画像の生成を行っていました． 一方で，本研究のように物理的特性に基づいて変形を行う場合，変形後の形状は物理シミュレーションを経て初めて明らかになります．そのため，ダイナミックプロジェクションマッピングが可能な程度に高速な物理シミュレーションの手法が必要です．また，変形後の形状をもとにレンダリングした画像を投影する際，その画像が現実世界の対象からはみ出してしまうと，観客に投影により変形を行っているということが気付かれてしまい，体験の品質が低下してしまいます． そこで，本研究では軽量に物理シミュレーションを行える従来手法を拡張し，変形後の形状が投影対象からはみ出さないように輪郭の内部に留めるプロセスを追加することで，上記の問題を解決しました． これに加えて，本システムでは弾性マップと名付けた画像を使うことで，容易に変形させたい領域を指定することができます．図2に複数の弾性マップで投影を行った結果を示します．
2. 人間の知覚特性に基づいたシェーディング
人間は運動する物体を見る際，色，形，動きの情報を脳内の別々の経路で処理し，後に高次野でそれらを統合することで現実世界の認識をします．この特性を応用し，動きの情報のみをプロジェクタにより投影することで，2次元の絵画があたかも動いて見えるような錯視を提示する手法が提案されています．本研究では，2次元の絵画を対象にしていた従来のシェーディングアルゴリズムを，ランバート反射のモデルを使って自然に3次元に拡張することで，3次元の投影対象でも変形したかのように見せられる錯視の提示手法を実現しました．また，自然な拡張に加えて，3次元的な凹凸による陰影をさらに強調するための項を付け加え，より錯視の体験の品質を向上させました．
3. 環境光の寄与のリアルタイム推定によるロバストな錯視の実現
本システムでは，環境光の強さと方向の情報を組み込んで錯視のための投影画像を生成しています．そこで，本研究では，可視光カメラを使って投影を行いながら環境光の情報をリアルタイムに推定します．環境光をリアルタイムで推定することで，パーティー会場やコンサートホールなど，照明が時間的に変化する状況でもロバストな錯視を提示できます．
 |
|
|
 |
|
|
動画
動画の原本もございます。使用許諾は、www-admin@k2.t.u-tokyo.ac.jpまでご連絡下さい。
参考文献
- Kentaro Fukamizu, Leo Miyashita, Masatoshi Ishikawa: ElaMorph Projection: Deformation of 3D Shape by Dynamic Projection Mapping, International Symposium on Mixed and Augmented Reality (ISMAR2020), Recife, Brazil (Virtual conference), 9-13 Nov. (2020)
