システムビジョンデザイン：超高速画像処理

ダイナミックプロジェクションマッピングのための複数台カメラを用いた高速非剛体３次元トラッキング

概要

現実を拡張するための手法として，ダイナミックプロジェクションマッピングの有用性が注目を集めている．ダイナミックプロジェクションマッピングにおいては対象の動きを高速にトラッキングする必要があるが，本研究では特に，変形する非剛体の高速3次元トラッキングに着目する．非剛体変形を3次元的にトラッキングする手法は様々に提案されているが，いずれも計算量が大きく，ダイナミックプロジェクションマッピングにおいて人間が対象と投影画像との間に幾何学的な不整合性を知覚しないレベルの高速性を確保することは困難である．また，Deformable Dot Cluster Markerを用いたシステムは非剛体曲面の変形を高速にトラッキングすることに成功しているが，非剛体変形に関する情報が2次元的にしか得られない上，センシング範囲も狭い．

そこで本研究では，Deformable Dot Cluster Markerを基盤として，複数台のカメラを用いたシステムを用いて投影対象に貼付されたマーカ上の各点の3次元位置を求める手法を提案している．この高速非剛体3次元トラッキングを，947fpsで8bitのカラー映像を切り替えることができる新型の高速プロジェクタ DynaFlash v2 (3-LED＋1-DMD)と連携させ，対象表面の3次元的な構造や動きに応じた映像を適応的に投影する新たなダイナミックプロジェクションマッピングを実現した．下の画像では，対象の姿勢や動きに応じ，光沢や凹凸が適応的に変化した映像が投影されている様子が確認できる．