焦点の異なる複数の画像を用いた三次元運動認識手法

概要

当研究室では，ミリ秒オーダで焦点を制御可能な高速液体レンズであるダイナモルフレンズ（DML）を開発してきている．DMLを高フレームレートカメラと組み合わせることによって得られる複数焦点の画像系列から，焦点を利用した新たな画像処理手法が可能になった．

そこで我々は，DMLを利用して高速に焦点をずらしながら取得した画像系列をもとに，特に画像内特徴点の三次元動き推定に注目して，そのためのアルゴリズムを開発した．本手法では，あるシーンにおける焦点位置の異なる複数の画像を，焦点スキャン画像群という一つの三次元データとみなし，そのような三次元データを奥行き方向へ微分したものの間のオプティカルフローを計算することによって，対象の三次元の動き推定を行う．

実験ではDMLと高速カメラを組み合わせ，2000fpsで取得した画像系列に対してトラッキング実験を行った．ピエゾアクチュエータに対して125Hzの三角波を与えることにより，毎秒250の焦点スキャン画像群を取得する．今回の実験において，対象を自由遊泳するエビとしトラッキングを行ったところ，316フレームにわたって高い精度での対象の3次元動き推定に成功した．ページ下部に本実験で取得した画像系列を動画にしたものと，トラッキング結果の動画を示す．トラッキング結果の動画において，対象であるエビに対して常に焦点があっていることから，奥行方向を含めた3次元の動きの推定に成功していることが分かる．

図1 手法概要図

動画

参考文献

1. 松崎翔太，奥寛雅，石川正俊：焦点の異なる複数の画像を用いた３次元動き推定アルゴリズム， 第12回計測自動制御学会システムインテグレーション部門講演会 (SI2011) (京都, 2011.12.25)／講演会論文集, pp.2442-2445
2. 松崎翔太，奥寛雅，石川正俊： 焦点スキャン画像群による動的シーンにおける新たな三次元運動認識手法, 第18回画像センシングシンポジウム (SSII2012) (横浜,2011.6.08)／講演論文集，IS4-19