MIDAS projection: マーカーレス・モデルレスの動的プロジェクションマッピングによる質感表現

概要

近年、建物やステージ背景といった現実世界の物体にぴったりと合うようにCG映像を プロジェクタ等で投映し、あたかも対象の質感や形状が変化したかのように見せる プロジェクションマッピング技術が盛んに研究されています。 さらに、素早く運動したり変形する物体に対しても、ぴったりと映像を投映する ダイナミックプロジェクションマッピングと呼ばれる技術も開発されており、 エンターテイメントやインターフェイス等の分野で活用が期待されています。 しかし、従来のダイナミックプロジェクションマッピング技術では、 投影先の対象にマーカーを貼付する必要や、 対象形状にモデルを仮定する必要があり、事前の準備なしに 対象に応じた投映を行うことはできませんでした。 そこで、本研究では、目に見えない近赤外域の光を用いて対象の法線を高速に計測する システムと、計測した法線から高速に映像を生成するアルゴリズムを用いて、 マーカーや形状モデルなしにダイナミックプロジェクションマッピングを行う手法を提案しました。 本手法では、対象に特別な準備を施す必要がないため、 マーカーの貼付が難しい動物や食物、形状のモデル化が難しい水や粘土、 たくさんの対象を含む魚の群れや木の葉など、 これまで対象とすることが難しかった物体にもぴったりと映像を投映し、 その質感や形状が変化したかのような表現を実現することができます。

プロジェクションマッピングに用いる可視光との干渉を避けるため、 近赤外域の３つの波長を利用した高速法線計測システムを構築しました。(図1) 本研究では法線の計測と映像の投映はともに500fpsの速度で実現されており、 下に挙げた高速シェーディングアルゴリズムと合わせて、人間の眼では知覚できない程度の 遅延での計測と投映を実現しています。

法線は対象の見え方に大きく関与しており、 法線に応じた投映を行うことで対象の質感や形状を見かけ上、 大きく変えることができます。(図2) 本研究では法線を利用した高速シェーディングアルゴリズムを提案し、 動く対象の質感を、投影によって別の均一な質感や模様を持った質感に 書き換えることを実現しました。(図3,4)

対象の反射率に応じて質感を変化させることで、シャツは銀でネクタイは赤といったように 一度に複数の質感を提示する応用を実現しました。(図5) また、対象に触れた際に徐々に質感を書き換えていくことで、 触れたものを全て黄金に変えるギリシャ神話のミダス王の逸話を再現する応用も実現しました。(図6) 対象を選ばない柔軟なダイナミックプロジェクションマッピングが可能なため、 パフォーマーの演出や、ファッション、広告といったエンターテイメント分野、 また、試作品のプレビューなどのインターフェイス分野での応用が期待されます。

図1 システム外観	図2(a) 粘土（投映前）	図2(b) 粘土（投映後）

図3 素手への投映（マーカー不要）	図4 液体への投映（モデル不要）

図5 反射率に応じた投映	図6 娘を黄金に変えるミダス王

動画

参考文献

1. Leo Miyashita, Yoshihiro Watanabe, Masatoshi Ishikawa: MIDAS Projection: Markerless and Modelless Dynamic Projection Mapping for Material Representation, ACM Transactions on Graphics, Vol.37, No.6, Article 196 (2018).