液体レンズを用いた高速焦点追従投影システム
概要
メディアアート，エンターテインメント，拡張現実の新展開を支える基盤技術として，プロジェクションマッピングが注目を集めている．しかし，従来のプロジェクタは被写界深度が浅く，ボケずに投影できる範囲が限られていた．また，運動する物体に投影可能なダイナミックプロジェクションマッピングにおいて，一定距離範囲内での追従投影は達成されてきているが，奥行方向に大きく外れると投影像がボケてしまうため，大きな制約となっていた．
そこで，高速ビジョン・高速プロジェクタ・高速可変焦点レンズを統合した高速焦点追従投影システムを新たに開発した．このシステムでは，高速カメラによる対象物体の奥行きと姿勢の瞬時の認識結果を元に，高速な応答性を持つ液体レンズによる焦点距離の補正と，高速プロジェクタによる投影内容の更新がリアルタイムに行われる．これにより，奥行方向に大きな動きがある場合でも，焦点の合った像の追従投影が実現される．
本システムを用いることで，3次元的にダイナミックな運動する物体に対しても，すべての位置で投影像の焦点を合わせることができる．この技術は，Volume Slicing Displayのような応用のほか，実世界上のあらゆる面を投影像で塗り替え，外観を自在に操作したり，情報提示をしたりする応用を様々な分野で展開するうえで，欠かせない技術になると期待される．
上記の研究成果は、 東京工業大学 渡辺研究室・中国広東省科学研究院半導体研究所 王研究室との共同研究の成果である．
|
|
バージョン１
高速焦点追従投影システムバージョン１を開発しました．バージョン１では，液体レンズを用いた光学系を構築し，高速に焦点距離を変更可能なシステムを開発しました．距離センサから得られた距離情報をフィードバックし，液体レンズを制御することで対象の距離が変化してもボケなく投影できます．さらに，距離に応じて投影内容を更新することで，Volume Slicing Displayなどの応用が実現できます．
 |
|
| 図4 2.0mから0.5mまで移動する投影対象物（ホワイトボード）に常に鮮明に投影 |
|---|
バージョン２
高速焦点追従投影システムバージョン２を開発しました．バージョン２では，バージョン１に高速ビジョン・高速プロジェクタを統合し，フィードバックと投影画像更新の高速化を行いました．また，マーカを用いた高速な位置姿勢推定を導入しました．これにより，対象の距離だけでなく，姿勢変化に合わせたダイナミックプロジェクションマッピングをボケなく実現できます．
 |
 |
図7 広い奥行範囲で鮮明に投影している様子
図8 Volume Slicing Display として距離に応じて投影内容を変化させている様子
動画
Ver. 1: 可変焦点レンズを用いた高速焦点追従投影
動画の原本もございます．使用許諾は，contactまでご連絡下さい．
Ver. 2: 高速ビジョン・高速プロジェクタを統合した高速焦点追従投影システム
動画の原本もございます．使用許諾は，contactまでご連絡下さい．
参考文献
- Lihui Wang, Hongjin Xu, Satoshi Tabata, Yunpu Hu, Yoshihiro Watanabe, and Masatoshi Ishikawa: High-Speed Focal Tracking Projection Based on Liquid Lens, ACM SIGGRAPH 2020 Emerging Technologies (SIGGRAPH '20) (Virtual Event, USA, 2020.8.24-28) [DOI: 10.1145/3388534.3408333]
- 「東大など、高速プロジェクション技術開発 動く物体に絵を投影」, 日刊工業新聞, 2020.1.8.
- 東京大学石川妹尾研究室 / 東京工業大学渡辺研究室: 液体レンズを用いた高速焦点追従投影システム, Innovative Technologies 2019 / Digital Content Expo 2019, 2019.11.13-15. ACM SIGGRAPH Special Prize，スポンサー賞 (CGWORLD)
- Lihui Wang, Hongjin Xu, Yunpu Hu, Satoshi Tabata, Masatoshi Ishikawa, Dynamic Depth-of-Field Projection for 3D Projection Mapping, ACM CHI Conference on Human Factors in Computing Systems (CHI'19) (Glasgow, Scotland, UK. 2019.05.05-09) [DOI: 10.1145/3290607.3313246]
- Lihui Wang, Yunpu Hu, Hongjin Xu, Masatoshi Ishikawa, Dynamic focal tracker display, SPIE Photonics West 2019 (San Francisco, California, USA. 2019.02.07)/ (Oral Session) [DIO: 10.1117/12.2506958]
