TransMaterial: 高速ビジョン・プロジェクタに基づいた動的質感再現
概要
金属，プラスチック，肌など様々な素材の「質感」を再現できるかどうかは，高品質のメディアコンテンツを製作するうえで重要なポイントです．特にニーズが高い分野には，プロダクトデザイン，教育，エンターテイメント分野が挙げられます．プロジェクションマッピングは，このような質感の再現に向けて重要な役割を果たすことが期待されています．プロジェクションマッピングを利用すると，モニタ上ではなく，現実の物体の表面上に素材の質感を再現することができます．例えば，眼の前の樹脂製の模型を，形を維持したまま，鮮やかに光る金属製の物体に変質させることが可能です．
一方，このようなディスプレイでは，動きの変化に追従した質感の再現が重要になってきます．例えば，光沢度の高い物体では，ハイライトを生じる位置が物体自身の動き，観察する人の視点方向，光源位置によって変化します．このような動的な質感再現は，高品質なユーザエクスペリエンスのためには非常に重要なポイントになります．しかし，従来のプロジェクションマッピング技術では，このような要請を満たすことが困難でした．これは，従来のセンシング・プロジェクタ系が十分に高速でなかったためです．さらに，このようなアプリケーションでは，ユーザが対象に触れてインタラクションすることが重要になります．このためには，対象の3次元位置・姿勢を，遮蔽が生じた場合でも頑健に認識できるトラッキング技術が必要になります．
そこで本研究では，新たにマーカベースの3次元トラッキング手法を提案するとともに，同手法を用いたダイナミックプロジェクションマッピングによって，動的に質感を再現するシステムを構築しました．トラッキング手法は，対象の一部だけが観測できれば，その位置と姿勢を高速に認識することが可能です．このため，ユーザが対象を把持している状況でも高精度な認識を継続できます．本システムでは，認識された物体の3次元位置と姿勢に基づいて，表面の質感をコンピュータグラフィクスによって生成し，高速なプロジェクタによって投影します．すると，下図に示されるように，本来は白い石膏製の物体を，あたかも光沢性の高い金属のように変化させることができます．対象の動きに応じて遅れなく再現される表面反射の変化は，質感再現の品質をさらに高めていることが分かります．ここでは金属の例のみを示していますが，そのほかの素材でも再現は可能です．また，部分的に質感を変えることも可能です．さらにはカラー化することも可能です．加えて，マーカは赤外マーカを用いることで不可視化することも可能です．
参考文献
- Yoshihiro Watanabe, Toshiyuki Kato, Masatoshi Ishikawa: Extended Dot Cluster Marker for High-speed 3D Tracking in Dynamic Projection Mapping, IEEE International Symposium on Mixed and Augmented Reality (ISMAR2017) (Nantes, 2017.11.11), pp. 52-61, 2017.
