Deformable Dot Cluster Marker: 高速非剛体変形トラッキングのためのマーカ
概要
本研究では，非剛体の変形を継続的に捉えるセンシング技術を，非剛体変形トラッキングと呼ぶ．非剛体変形トラッキングは，コンピュータビジョンの分野において依然として難しい問題の一つである．これは，運動の自由度が高いとともに，変形によって生じる自己遮蔽が問題を複雑化するためである．
本研究では，非剛体変形トラッキングの応用として，ダイナミックプロジェクションマッピングに注目している．これは，運動する物体や動的に変化する環境を投影対象とするタイプのプロジェクションマッピングである．このようなプロジェクションマッピングでは，対象と投影画像との間に生じる幾何学的不整合を，人間が知覚できないレベルの高速性が必要となる．これを実現するためには，非剛体トラッキングをmsオーダで完了させる技術が必要となる．しかし，従来手法にはこのような性能を実現するものはなかった．
このような背景の下，本研究ではマーカベースの高速な非剛体変形トラッキングを新たに提案している．これは，マーカを対象表面に印字し，カメラによって観測されるマーカの歪みを介して，対象の変形を取得するものである．我々は，新たに提案するマーカをDeformable Dot Cluster Markerと呼んでいる．このマーカは，複雑な変形・運動が生じた場合でも，マーカ内の局所的な位置を他の位置と誤識別しないように最適化されている．また，マーカは白と黒のみで表現されるため，対象に簡単に印字することができる．このようなマーカの設計とともに，変形を取得する画像処理も提案している．これは，マーカを画像内から検出する処理と，高フレームレート撮像に基づいて継続的に追跡する処理を並行実行するものである．これによって，ロバストかつ高速な非剛体変形トラッキングが可能である．また，複数の種類のマーカが画像内に存在しても，個別に認識することが可能である．実装の結果，CPU上の実行で1,000fpsを達成可能であることを実証した．また，本トラッキングによって得られた変形情報を利用して画像を生成し，高速プロジェクタDynaFlashによって投影することで，非剛体曲面へのダイナミックプロジェクションマッピングが1,000fpsで実現できることを示している．
参考文献
- Gaku Narita, Yoshihiro Watanabe, and Masatoshi Ishikawa: Dynamic Projection Mapping onto Deforming Non-rigid Surface using Deformable Dot Cluster Marker, IEEE Transactions on Visualization and Computer Graphics, 2016.
- Gaku Narita, Yoshihiro Watanabe, and Masatoshi Ishikawa: Dynamic Projection Mapping onto a Deformable Object with Occlusion Based on High-speed Tracking of Dot Marker Array, The 21st ACM Symposium on Virtual Reality Software and Technology (VRST2015) (Beijing, 2015.11.14)/Proceedings, pp.149-152, 2015.
- 成田岳, 渡辺義浩, 石川正俊: マルチドットマーカの高速トラッキングによる変形・伸縮物体への高速プロジェクションマッピング, 第20回日本バーチャルリアリティ学会大会(VRSJ2015), 13B-2, pp.166-169
