自由遊泳魚の高解像度合焦トラッキング

概要

自由に泳ぎ回る魚など三次元的に動き回る複数の生物に対して，個体識別や健康管理が非拘束に実施出来ることが望ましい． 高解像度画像を取得することで物体の個体識別情報や魚の心拍情報を抽出する技術が知られているが， カメラを利用した画像計測においては画角や解像度，被写界深度の観点から継続的に運動対象の鮮明な画像を撮影することは困難である． 画角を固定したカメラにおける画角と解像度のトレードオフの問題に対し，高速ミラー制御を利用した 高解像度撮影（1ms Auto Pan-tilt技術） を用いて継続的な高解像度撮像が期待できるものの， 似たような見た目の複数物体（すなわち魚群）の個体間交差に対し同一個体への正しい追従撮影が難しくなる． また，固定望遠レンズでは浅い被写界深度により継続的な合焦撮影も困難となる． 本研究では各々の課題に対し，次の楕円セルフウィンドウ法や高解像度イメージングシステムを提案することで課題解決を行う． 魚群については養殖業や水族館事業における個体健康管理への応用が期待され， さらにドローンやロボットのピッキングタスクにおける個体識別などへの応用も期待される．

魚群における特定個体の継続的位置検出において，他個体との交差を含む遮蔽は大きな課題となる． 本研究では高フレームレート画像処理におけるセルフウィンドウ法を拡張し，楕円セルフウィンドウ法を提案する（図1）． 各画像フレームにおける二値化などの対象認識を楕円領域に限定し楕円を更新し続けることで， 楕円が頭部付近（メダカは下から心臓位置の輝度変化が観測可能）に収束しつつ， 個体間交差などの外乱に頑健な高速トラッキングが可能となる． 高速ミラー制御系と組み合わせることで，魚群に対しても特定個体の継続的高解像度撮影の効率が向上する．

高速ミラー制御における浅い被写界深度の問題に対し， 高速ミラー制御系・高速液体可変焦点レンズ・広角カメラの三つを効果的に連携させることで， 複数の三次元運動物体に対して常に合焦した高解像度イメージング手法を提案する（図2）． 広角カメラで対象全体を観察しつつ，ミラー式光軸制御系によって特定個体に高解像度カメラの向きを動的に制御する． そして広角カメラとミラー制御系から成るステレオ系の三角測量によって液体レンズの高速制御も行い， 三次元運動にも対応した鮮明なイメージングを達成することができる（図3）．

図1 楕円セルフウィンドウ法	図2 高解像度イメージングシステム
図3 メダカ追従撮影結果

動画

参考文献

1. Murtuza Petladwala, Tomohiro Sueishi, Shoji Yachida, and Masatoshi Ishikawa: High-Speed Occlusion Recovery Method for Multiple Fish Visual Tracking, 42nd Annual International Conferences of the IEEE Engineering in Medicine and Biology Society (EMBC2020) (Montreal, 2020.7.20)/Proceedings, MoAT14.12, p.6185
2. Tomohiro Sueishi, Takuya Ogawa, Shoji Yachida, and Masatoshi Ishikawa: Continuous high-resolution observation system using high-speed gaze and focus control with wide-angle triangulation, SPIE Photonics West 2020 (San Francisco, 2020.2.2)/Proceedings of SPIE, Vol.11250, pp.1125012-1-10
3. 末石智大，小川拓也，谷内田尚司，石川正俊： 高速光軸・焦点制御系と広角カメラ連携による三次元運動物体の継続的高解像度合焦撮影手法， 第37回日本ロボット学会学術講演会 (RSJ2019) (東京, 2019.9.4)／予稿集, 1L2-03
4. Tomohiro Sueishi, Takuya Ogawa, Shoji Yachida, Yoshihiro Watanabe, and Masatoshi Ishikawa: High-resolution Observation Method for Freely Swimming Medaka Using High-speed Optical Tracking with Ellipse Self-window, 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2018) (Honolulu, 2018.7.20)/Proceedings, FrPoS-32.41
5. 末石智大, 小川拓也, 谷内田尚司, 渡辺義浩, 石川正俊: メダカの高速高解像度光学的追従撮影に向けた楕円セルフウィンドウ法, 電子情報通信学会 パターン認識・メディア理解研究会 (PRMU2017-208)／信学技報, vol. 117, no. 514, pp. 213-218 (2018)