ビデオレートプロジェクタでの高速深度計測と映像提示の同時実行

概要

昨今のXR分野の応用では映像の投影と共に、高フレームレートのリアルタイム深度計測が求められることがあるが、 高速プロジェクターは高速投影や高速計測に利用できる高い性能を持つ一方で、特殊な光学系および回路系が必要となるため、導入コストが高い。 これに対して、ビデオレートのプロジェクターをそのまま計測に利用すると、映像提示の品質が低下するだけでなく、低速の計測しか行うことができない。 一方でDLPプロジェクターのDMDの駆動周波数はビデオレートを遥かに超えるため、投影戦略を工夫することで通常の映像提示を行いながら高速計測を実現できるポテンシャルを持っている。 これに着目し、本研究では一般的なビデオレートのプロジェクターを用いた単一のプロカムシステムにより、映像提示と高速深度計測を同時に実現する手法を提案する。

提案手法では投影画像を独自のアルゴリズムで図1のように低bit画像に分解し、図2のように計測用のパターンとの積を順に投影する。 これにより、実際のシステムがビデオレートでの映像投影を行いながら1000fpsで深度計測が行えることを実証した。 図3は最終的に投影したい8bitの画像で、図4は提案手法による映像の投影結果である。 この投影を図5のように対象物体に向けて投射することで、図6左のように３次元点群が得られる。 計測された３次元点群から再構成した対象表面とその法線を図6右に示した。

図1 低bit画像分解

図2 高速計測の同時実行を実現する投影戦略

図3 目標投影画像	図4 投影結果（ビデオレートでの見た目）
図5 計測対象への投影	図6 計測結果（1,000fpsで得られる３次元点群）

参考文献

1. Leo Miyashita, Masatoshi Ishikawa: Simultaneous High-speed Depth Measurement and Video Presentation using a Video-rate Projector, International Conference Cybernetics & Informatics (K&I2025), Miklov, Czechia, 2-5 Feb. (2025)