VarioLight 2: 円周マーカを用いた球体ダイナミックプロジェクションマッピング

概要

バージョン１

従来の高速プロジェクションマッピングでは，対象物体の姿勢変化の認識に向けて，ドット（点形状）をベースとしたマーカが用いられていた．しかし，単一ドットマーカは幾何学情報を含まないため手動でのトラッキング開始を要することが多く， ドットを複数個組み合わせたクラスタマーカは，その符号情報から自動的にトラッキングが開始されるが，低解像度やボケに弱い問題があった． またいずれのマーカも画像上の計測点数が限定されやすいため，手や足などによるランダムな遮蔽にロバストでない． これらの問題により，広域運動する物体の姿勢変化に対応したプロジェクションマッピング(VarioLight)において，スポーツなどの実用的な場面において不便であった．

本研究室は，スポーツで盛んに利用される球体に着目し，それに利用可能なトラッキングマーカとして「円周マーカ」を新たに開発した（図１）． なお，後述のバージョン２との区別のため，Uniform Circumferential Markers（UCM, 一様な円周マーカ）と呼ぶ． 円はカメラの透視投影により楕円として観測され，その形状は球体の幾何学情報を含む（傾きや潰れ具合からは球体上のマーカ位置，大きさからは球体の奥行位置）ことから， 本マーカは自動的なトラッキング開始と低解像度・ボケに強い特徴を有するほか，奥行方向に広い投影範囲を実現する． また，円周上の点群を用いるため，多数の計測点により手や足などのランダムな遮蔽に強い利点をも有する． 円周マーカが配置された球体は，図２に示す500 fpsのプロジェクションマッピングシステムを用いることで，回転に対応した追従投影が実現される． なお，マーカの一様性により，UCMでは相対姿勢のみ計測可能である．

本マーカを用いることで，図３(a) の複数人でキャッチボールを行う様子から示されるように，手によるランダムな遮蔽にロバストで，回転にぴたりと貼りつくプロジェクションマッピングが実現された． また，回転情報を高い時空間分解能で計測し，即座に投影可能なことから，図３(b) に示すように，矢印を用いることで，球体表面上でリアルタイムに回転情報を可視化することに成功した． 図３(c) のように，高速回転投影画像の回転速度を実際のそれより遅く提示することで，高速な回転時でも投影内容を理解させながら，同時に回転速度も示すことができる． 本投影システムはサッカー，バレー，卓球などのボールを用いるスポーツにおいて，回転可視化により選手の練習に役立てたり，エンターテイメントに活用することが期待される．

図1 球体上に配置されたUniform Circumeferential Markers (UCM, 一様な円周マーカ) の様子．	図2 円周マーカを配置した球体に対し，広域に追従投影する500 fpsのプロジェクションマッピングシステムの模式図．
図3 (a)キャッチボールされる球体に対し，手によるランダムな遮蔽にロバストで，回転にぴたりと貼りつく投影が実現される様子． (b)回転速度の計測結果を即座に矢印として投影し提示する様子． (c)テクスチャを実際の回転速度より遅く提示することで，投影内容と球体の回転速度の双方を同時に伝えられるデモ．

バージョン２

前述のバージョン１のUniform Circumferential Markers (UCM, 一様な円周マーカ)は，名前の通り一様な分布のため，絶対姿勢の取得が不可能である。絶対姿勢を取得するには，マーカを非一様な分布にする等により，何らかの符号情報を埋め込む必要がある．従来手法では，QRコードのような角形の複雑な形状や，高密度な点群の分布により符号化を行っていたが，これらはボケや遮蔽に弱い問題があった．

そこで本研究では，Biased Circumferential Markers (BCM, 偏りのある円周マーカ)を提案する（図4）．各マーカの内側円はUCMと同じ分布である一方で，外側円の大きさや，内側円に対する偏りを多様にすることで，符号化を実現している． UCMと同様に大きな円を活かした形状であるためボケに強く，またUCMと同様の画像計測アルゴリズムにより途切れた円周も利用できるため，遮蔽にも強い．これにより，UCMでのトラッキング性能を保持しつつ，球体の絶対姿勢の高速・高精度な推定を実現する．

本マーカは，広域・ロバストな球体へのダイナミックプロジェクションマッピングに有用であることはもちろんだが，円の形状を用いたボケ・遮蔽に強いマーカという，新たな符号化マーカの可能性を示しているともいえる．

球体の絶対姿勢が分かることにより，遮蔽復帰後に投影がずれない，遮蔽の前後の回転情報が正確なため，遮蔽中の運動情報が推定しやすい，等の応用が考えられる．将来的には，多数個のプロジェクタを用いて，継ぎ目のない全周囲投影の実現に利用可能と考えられる．

図4 球体上に配置されたBiased Circumeferential Markers (BCM, 偏りのある円周マーカ) の様子．

動画

VarioLight 2: Dynamic Projection Mapping for Ball Sports
動画の原本もございます．使用許諾は，contactまでご連絡下さい．



VarioLight 2: Wide Dynamic Projection Mapping in Rhythmic Gymnastics
動画の原本もございます．使用許諾は，contactまでご連絡下さい．

参考文献

1. Yuri Mikawa, Tomohiro Sueishi, Yoshihiro Watanabe, and Masatoshi Ishikawa: Dynamic Projection Mapping for Robust Sphere Posture Tracking Using Uniform/Biased Circumferential Markers, IEEE Transaction on Visualization and Computer Graphics, 2021 (Early Access).
2. 三河祐梨, 末石智大, 渡辺義浩, 石川正俊: VarioLight2: 円周マーカを用いた球体への広域かつ遮蔽に頑健なダイナミックプロジェクションマッピング, 第27回画像センシングシンポジウム (SSII2021) (オンライン, 2021.6.9)／講演論文集 IS1-25.
3. Yuri Mikawa, Tomohiro Sueishi, Yoshihiro Watanabe, and Masatoshi Ishikawa: Projection mapping system to a widely dynamic sphere with circumferential markers, IEEE International Conference on Multimedia and Expo (ICME2020) (London, 2020.7.7-9), pp. 1-6
4. Yuri Mikawa, Tomohiro Sueishi, Yoshihiro Watanabe, and Masatoshi Ishikawa: VarioLight: Hybrid Dynamic Projection Mapping Using High-speed Projector and Optical Axis Controller, The 11th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia (SIGGRAPH ASIA 2018) (Tokyo, 2018.12.5-7)/Emerging Technologies, Article No. 17
5. 三河祐梨, 末石智大, 渡辺義浩, 石川正俊: VarioLight：高速プロジェクタ及び光軸制御による非対称な移動物体への投影型拡張現実感システム, 第23回日本バーチャルリアリティ学会大会 (VRSJ2018) (仙台, 2018.9.19)／論文集, 14D-4.
6. 三河祐梨, 末石智大, 石川正俊: 動的プロジェクションマッピングに向けた輪郭情報に基づく高速球体トラッキング, 第22回日本バーチャルリアリティ学会大会 (VRSJ2017) (徳島, 2017.9.27)／論文集, 1E4-03.