高速プロジェクタを用いた変形する非剛体曲面へのダイナミックプロジェクションマッピング
概要
プロジェクションマッピングは，現実を拡張するための技術として注目されている．しかし，その応用展開の多くは，静的・準静的環境に制限されていた．本研究では，このような制限をなくし，動的に変化する実世界と仮想的な視覚情報を，人間の知覚レベルで完全に融合させるダイナミックプロジェクションマッピングの実現に着手する．このように，人間が対象と投影画像との間に幾何学的不整合を知覚することのない高速性を有したダイナミックプロジェクションマッピングの実現には，高フレームレートかつ低遅延で投影を行う高速プロジェクタが必要である．我々は，この要請を満たすために，1,000fps・3ms遅延で8bit階調の映像を投影する高速プロジェクタDynaFlashを開発している．
さらに本研究では，ダイナミックプロジェクションマッピングの対象として，非剛体曲面に注目する．非剛体の運動は複雑な変形を伴うため，従来は高速にその状態を把握することが困難であった．これに対して，我々は新たに1,000fpsで非剛体変形をトラッキングできる手法を開発した．これは，提案するDeformable Dot Cluster Markerを対象に印字することで，大きな変形や遮蔽が生じても，高速かつロバストに変形を継続的に捉えることができる技術である．
以上のDynaFlashとDeformable Dot Cluster Markerを基盤として，非剛体曲面へのダイナミックプロジェクションマッピングを実現した．本技術では，マーカを赤外インクで対象に印字することで，人間にはマーカを不可視にするとともに，投影像に影響を受けずに変形を捉えることができている．さらに，プロジェクションとセンシングの両方が1,000fpsの速度で実現されている．このため，運動中においても，変形に応じた矛盾のない投影を維持し，あたかも対象に投影画像が印字されている，または対象表面に元々存在していたテクスチャであるかのように現実を拡張できる．特に，ユーザインタフェース分野，及びファッション分野における新展開を目論み，紙面及びTシャツへのダイナミックプロジェクションマッピングを実証した．さらに，複数のマーカを利用することで，異なる対象への投影をコントロールできることも示した．
動画
動画の原本もございます．使用許諾は，contactまでご連絡下さい．
参考文献
- Gaku Narita, Yoshihiro Watanabe, and Masatoshi Ishikawa: Dynamic Projection Mapping onto Deforming Non-rigid Surface using Deformable Dot Cluster Marker, IEEE Transactions on Visualization and Computer Graphics, 2016.
- Gaku Narita, Yoshihiro Watanabe, and Masatoshi Ishikawa: Dynamic Projection Mapping onto a Deformable Object with Occlusion Based on High-speed Tracking of Dot Marker Array, The 21st ACM Symposium on Virtual Reality Software and Technology (VRST2015) (Beijing, 2015.11.14)/Proceedings, pp.149-152, 2015.
- 成田岳, 渡辺義浩, 石川正俊: マルチドットマーカの高速トラッキングによる変形・伸縮物体への高速プロジェクションマッピング, 第20回日本バーチャルリアリティ学会大会(VRSJ2015), 13B-2, pp.166-169
