masterhead masterhead  masterhead

ダイナミックプロジェクションマッピングのための複数台カメラを用いた高速非剛体3次元トラッキング

概要

現実を拡張するための手法として,ダイナミックプロジェクションマッピングの有用性が注目を集めている.ダイナミックプロジェクションマッピングにおいては対象の動きを高速にトラッキングする必要があるが,本研究では特に,変形する非剛体の高速3次元トラッキングに着目する.非剛体変形を3次元的にトラッキングする手法は様々に提案されているが,いずれも計算量が大きく,ダイナミックプロジェクションマッピングにおいて人間が対象と投影画像との間に幾何学的な不整合性を知覚しないレベルの高速性を確保することは困難である.また,Deformable Dot Cluster Markerを用いたシステムは非剛体曲面の変形を高速にトラッキングすることに成功しているが,非剛体変形に関する情報が2次元的にしか得られない上,センシング範囲も狭い.

そこで本研究では,Deformable Dot Cluster Markerを基盤として,複数台のカメラを用いたシステムを用いて投影対象に貼付されたマーカ上の各点の3次元位置を求める手法を提案している.この高速非剛体3次元トラッキングを,947fpsで8bitのカラー映像を切り替えることができる新型の高速プロジェクタ DynaFlash v2 (3-LED+1-DMD)と連携させ,対象表面の3次元的な構造や動きに応じた映像を適応的に投影する新たなダイナミックプロジェクションマッピングを実現した.下の画像では,対象の姿勢や動きに応じ,光沢や凹凸が適応的に変化した映像が投影されている様子が確認できる.

動画




動画の原本もございます.使用許諾は,contact までご連絡下さい.

参考文献

  1. 遠藤宣明,天野光,渡辺義浩,石川正俊:ダイナミックプロジェクションマッピングのための複数台カメラを用いた高速非剛体3次元トラッキング 電子情報通信学会 パターン認識・メディア理解研究会 (PRMU2017-122)/信学技報, vol.117, no.391, pp.87-92, 2018年1月.

東京大学 情報基盤センター データ科学研究部門 石川グループ研究室
Ishikawa Group Laboratory WWW admin: contact
Copyright © 2008 Ishikawa Group Laboratory. All rights reserved.
logo