高速ジェスチャーUI:低レイテンシーと自己受容性
概要
本研究では, ユーザーインタフェースにおける操作性の向上を目的として, 人間のジェスチャーによる操作を例に, 入力に対して高速に応答するユーザーインタフェースを提案する.
スマートTV, コンピュータ, ゲーム機器, PDA等のユーザーインタフェース(UI)において, その応答性は, 機器の操作性に大きく影響する. 応答の速いUIはユーザーの操作感を高めるが, これはユーザーのジェスチャー動作から, ディスプレイ上の操作表現までのデータパスのレイテンシーが小さくなることで, 表現されたディスプレイ上の操作と自らのジェスチャーとが一体のものであること, すなわちユーザーの自己受容性が向上するからである.
図に概略を示す. ジェスチャーUIのレイテンシーには,
A) カメラの入力遅延（走査遅延＝フレームレートの逆数）,
B) コンピュータや画像処理回路への入力バッファ遅延（通常はフレームレートに対応）,
C)画像処理（処理時間はジェスチャー抽出の処理内容に依存.
通常は、フレームレートの逆数の整数倍）,
D)コンピュータや画像処理回路の出力遅延,
E)ディスプレイ遅延（通常はフレームレートに対応）
等が関与する．また, 各装置の間で同期が取られていない場合には,
フレーム落ちと言われる同期ずれを避けるためのバッファリングの時間も必要となり,
通常のビデオレートをベースとしたシステムでは,
ジェスチャー認識の画像処理を1フレームで実行したとしても,
約150〜200 msものレイテンシーが発生していた.
本システムでは, 上記 A)〜D)まで1,000 fpsをベースとしたシステムを開発し,
ディスプレイに8 msの遅延で表示できる装置を用いることにより,
システム全体のレイテンシーの合計を約32 ms（LEDの発光をカメラ入力し,
その画面表示をフォトディテクタで計測した値）に抑え,
高速なジェスチャーUIを実現した.
 |
 |
 |
動画
参考文献
- Himari Tochioka, Haruka Ikeda, Tomohiko Hayakawa, and Masatoshi Ishikawa: Effects of Latency in Visual Feedback on Human Performance of Path-Steering Tasks, The 25th ACM Symposium on Virtual Reality Software and Technology (VRST2019) (Parramatta, NSW, Australia, 2019.11.12-15), Poster [doi:10.1145/3359996.3364726].
- 栃岡 陽麻里，早川 智彦，門脇 拓也，池田 遼，石川 正俊： 身体感覚と視覚情報にずれが生じる低遅延没入環境におけるフレームレートが人へ与える影響， 第24回日本バーチャルリアリティ学会大会（VRSJ2019）（東京・2019年9月11日〜13日）， 講演論文集，4C-5.
- 門脇 拓也, 丸山 三智佳, 早川 智彦, 松澤 直熙, 岩崎 健一郎, 石川 正俊: 身体感覚と視覚情報にずれが生じる没入環境における低遅延な映像のユーザーへの影響, 日本バーチャルリアリティ学会論文誌, 24巻, 1号, pp.23-30, 2019..
- Kadowaki, T., Maruyama, M., Hayakawa, T., Matsuzawa, N., Iwasaki, K., & Ishikawa, M. (2018, November). Effects of low video latency between visual information and physical sensation in immersive environments. In Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology (p. 84). ACM.
- 門脇拓也，丸山三智佳，早川智彦，松澤直熙，岩崎健一郎，石川正俊: 身体感覚と視覚情報にずれが生じる没入環境における映像遅延のユーザーパフォーマンスへの影響に関する研究, 第23回日本バーチャルリアリティ学会大会 (VRSJ2018) (仙台, 2018.9.19)／論文集, 12B-1.
- 門脇 拓也, 丸山 三智佳, 早川 智彦, 松澤 直熙, 岩崎 健一郎, 石川 正俊: 身体感覚と視覚情報にずれが生じる没入環境における低遅延な映像のユーザーへの影響, 日本バーチャルリアリティ学会論文誌, 24巻, 1号, pp.23-30, 2019. 第22回日本VR学会論文賞
