masterhead masterhead  masterhead

液体レンズを用いた高速焦点追従投影システム

概要

メディアアート,エンターテインメント,拡張現実の新展開を支える基盤技術として,プロジェクションマッピングが注目を集めている.しかし,従来のプロジェクタは被写界深度が浅く,ボケずに投影できる範囲が限られていた.また,運動する物体に投影可能なダイナミックプロジェクションマッピングにおいて,一定距離範囲内での追従投影は達成されてきているが,奥行方向に大きく外れると投影像がボケてしまうため,大きな制約となっていた.

そこで,高速ビジョン・高速プロジェクタ・高速可変焦点レンズを統合した高速焦点追従投影システムを新たに開発した.このシステムでは,高速カメラによる対象物体の奥行きと姿勢の瞬時の認識結果を元に,高速な応答性を持つ液体レンズによる焦点距離の補正と,高速プロジェクタによる投影内容の更新がリアルタイムに行われる.これにより,奥行方向に大きな動きがある場合でも,焦点の合った像の追従投影が実現される.

本システムを用いることで,3次元的にダイナミックな運動する物体に対しても,すべての位置で投影像の焦点を合わせることができる.この技術は,Volume Slicing Displayのような応用のほか,実世界上のあらゆる面を投影像で塗り替え,外観を自在に操作したり,情報提示をしたりする応用を様々な分野で展開するうえで,欠かせない技術になると期待される.

上記の研究成果は、 東京工業大学 渡辺研究室中国広東省科学研究院半導体研究所 王研究室との共同研究の成果である.


2ddof
dynadof
図1 既存技術では狭い被写界深度のため,投影範囲は二次元空間(狭い奥行き範囲)に制約
図2 本技術は三次元的にダイナミックな物体に対してもボケずに鮮明に投影可能

バージョン1

高速焦点追従投影システムバージョン1を開発しました.バージョン1では,液体レンズを用いた光学系を構築し,高速に焦点距離を変更可能なシステムを開発しました.距離センサから得られた距離情報をフィードバックし,液体レンズを制御することで対象の距離が変化してもボケなく投影できます.さらに,距離に応じて投影内容を更新することで,Volume Slicing Displayなどの応用が実現できます.


図3 開発した液体レンズを用いたダイナミック投影機のプロトタイプ
dynamove
図4 2.0mから0.5mまで移動する投影対象物(ホワイトボード)に常に鮮明に投影

バージョン2

高速焦点追従投影システムバージョン2を開発しました.バージョン2では,バージョン1に高速ビジョン・高速プロジェクタを統合し,フィードバックと投影画像更新の高速化を行いました.また,マーカを用いた高速な位置姿勢推定を導入しました.これにより,対象の距離だけでなく,姿勢変化に合わせたダイナミックプロジェクションマッピングをボケなく実現できます.


図5 液体レンズを用いた投影システムの試作機
図6 提案システム概要



図7 広い奥行範囲で鮮明に投影している様子


図8 Volume Slicing Display として距離に応じて投影内容を変化させている様子

動画




Ver. 1: 可変焦点レンズを用いた高速焦点追従投影

動画の原本もございます.使用許諾は,contact までご連絡下さい.



Ver. 2: 高速ビジョン・高速プロジェクタを統合した高速焦点追従投影システム

動画の原本もございます.使用許諾は,contact までご連絡下さい.

参考文献

  1. Lihui Wang, Hongjin Xu, Satoshi Tabata, Yunpu Hu, Yoshihiro Watanabe, and Masatoshi Ishikawa: High-Speed Focal Tracking Projection Based on Liquid Lens, ACM SIGGRAPH 2020 Emerging Technologies (SIGGRAPH '20) (Virtual Event, USA, 2020.8.24-28) [DOI: 10.1145/3388534.3408333]
  2. 「東大など、高速プロジェクション技術開発 動く物体に絵を投影」, 日刊工業新聞, 2020.1.8.
  3. 東京大学石川妹尾研究室 / 東京工業大学渡辺研究室: 液体レンズを用いた高速焦点追従投影システム, Innovative Technologies 2019 / Digital Content Expo 2019, 2019.11.13-15. ACM SIGGRAPH Special Prize,スポンサー賞 (CGWORLD) 
  4. Lihui Wang, Hongjin Xu, Yunpu Hu, Satoshi Tabata, Masatoshi Ishikawa, Dynamic Depth-of-Field Projection for 3D Projection Mapping, ACM CHI Conference on Human Factors in Computing Systems (CHI'19) (Glasgow, Scotland, UK. 2019.05.05-09) [DOI: 10.1145/3290607.3313246]
  5. Lihui Wang, Yunpu Hu, Hongjin Xu, Masatoshi Ishikawa, Dynamic focal tracker display, SPIE Photonics West 2019 (San Francisco, California, USA. 2019.02.07)/ (Oral Session) [DIO: 10.1117/12.2506958]

東京大学 情報基盤センター データ科学研究部門 石川グループ研究室
Ishikawa Group Laboratory WWW admin: contact
Copyright © 2008 Ishikawa Group Laboratory. All rights reserved.
logo