ポータブルるみぺん：小型ダイナミックプロジェクションマッピングシステム

概要

対象に合わせてプロジェクターの映像を投影するプロジェクションマッピング技術が盛んに研究され，エンターテイメントやインターフェイスの分野で利用されている． 静止物体に対して投影を行う基本的なプロジェクションマッピング技術に加え，近年では動的物体を対象とするダイナミックプロジェクションマッピング技術の提案もされており， プロジェクションマッピング技術はますますの発展を遂げている．しかし，ダイナミックプロジェクションマッピングにおいても，未だシステム自体は固定のままであり， 真にダイナミックなシーンでのプロジェクションマッピング技術の応用はなされていない． これは，従来のシステム構成では，高速性と可搬性の双方を両立することが難しいためである． ダイナミックプロジェクションマッピングでは，時空間的整合性のとれた映像を対象に投影するために，対象の計測と映像の投影を高速に繰り返す必要があるが， 大型の計算機では高速処理が可能であるものの可搬性は損なわれ， また，小型の計算機では計算リソースが足りず高速性が失われるという問題があった． これに対し，ソニーと本研究室が共同で開発した積層型ビジョンチップはインテリジェントなソリューションを与える． ビジョンチップは高速撮像と並列演算を用いた高速画像処理を同チップ上で行うことで，高速性と可搬性を両立したビジョンシステムを構築することが可能であり， ポータブルシステムによるダイナミックプロジェクションマッピングに最適なデバイスである．

本研究では，対象の高速計測に積層型ビジョンチップを利用し，さらに，映像の投影に二軸のミラーを用いた高速視線制御ユニットを利用することで， システム全体の遅延を最小化しつつ小型化を達成したポータブルるみぺんを開発した．（参考：るみぺん） プロトタイプシステムは手持ちサイズでありながら，1,000fpsの高速撮像，高速画像処理，3msの高速応答を実現しており， その高速性と可搬性を利用したプロジェクションマッピングの新たな応用展開を切り拓いている． 例えば，図２では，動きに追従した投影によって手のひらをスマートフォンのように利用しつつ，壁に目的地までのナビゲーションを提示させるユーザーインターフェイスを構築している． また，図３では，携帯端末で自分を撮影する際に，顔に追従する投影によって映像効果を付与するエンターテイメントを提案している． 図４では，周辺環境をスキャンし，ユーザーの注意を検出した高速移動対象に向けさせるアプリケーションと，ユーザーの手指をトラッキングし， ハンズフリーのポインティングデバイスとして活用するアプリケーション例を示している． 他にも，可搬性を利用してドローンと組み合わせるなど，ポータブルシステムによるダイナミックプロジェクションマッピングは様々な応用展開が期待できるコンセプトである．

図1 システム外観	図2 システム内部

図3 追従投影インターフェイス	図4 光の化粧	図5 トラッキングサーチライト

動画

参考文献

1. Leo Miyashita, Tomohiro Yamazaki, Kenji Uehara, Yoshihiro Watanabe and Masatoshi Ishikawa: Portable Lumipen: Dynamic SAR in Your Hand, International Conference on Multimedia and Expo (ICME2018), San Diego, California, USA, 23-27 Jul.