鮮明な３次元立体映像を素手で高速に操作できるシステム

概要

本システムは、当研究室で開発された高速３次元ジェスチャー認識技術によって、ユーザーの手の形と3次元位置を高速で認識し、 その情報をzSpace社（注1）によって開発された立体映像ディスプレイ「zSpace®」（注2）に反映させることで、専用のスタイラスなどを使用することなく、 素手で空中立体映像を遅延なく操作することを実現した、未来型情報環境といえるものである。ここで用いられている高速３次元ジェスチャー認識技術は､ 2台の高速カメラの情報から､ ユーザーの手の形と3次元位置を高速(500fps)で認識し､ 遅れのないジェスチャー操作を可能とするものである。たとえば､ 両手で立体映像に対して並進と回転が行えるだけでなく､ 立体映像を小刻みに振るような速い動きにおいても検出・操作が可能となっている。

スマートフォン、タブレット端末、コンピュータなどのユーザーインターフェース（UI）において、その応答性能は機器の操作性に大きく影響する。 遅れの無い操作応答は、ユーザーに違和感を与えないばかりか、表現されたデバイス上の操作と自らのジェスチャーとが一体のものであるように感じられ、 機器の作り出す空間の中にユーザー自らが没入する感覚をもたらす。

素手でも操作可能である低拘束性と低遅延での高速応答性によって、様々な応用展開が考えられる。3次元情報の操作性の向上という点では、 多くの3次元データに対して直感的な操作が可能となり、快適性や作業効率の向上が期待できる。加えて、スタイラスなどの専用機器を使わず、 何も持たずに操作可能であるという点では、手が汚れている、あるいは手を清潔に保つため機器に直接触れて操作することができなかった現場、 例えば手術室で外科医が患者の3次元的な臓器データを確認するシーンなどでの応用が期待できる。さらには、操作が容易であるという点では、 装置が操作者の創造性を妨げることなく最大限引き出すことが期待できる。

米国カリフォルニア州サニーベールに本社を置くzSpace社(http://zspace.com/)は、 最先端技術を用いて開発したフラッグシップ製品zSpace®によって、医療と教育の現場における全く新しい学習体験方法を提供しています。

zSpace社によって開発された立体映像ディスプレイ。（http://zspace.com/the-zspace-system/） 専用のメガネを装着した操作者に対して、メガネ位置のトラッキングによって得られた視線位置情報から左右の目に異なった映像を呈示し、立体映像をもたらします。

図１　システムの概要（イメージ図）		図２　システムの全体像

図３　高速３Dジェスチャー 認識システム		図４　操作の様子

動画

参考文献

• Muhammad Sakti Alvissalim, Masahiko Yasui, Chihiro Watanabe, and Masatoshi Ishikawa: Immersive Virtual 3D Environment based on 499 fps Hand Gesture Interface, ICACSIS 2014