空中タイピング動作の認識

概要

本研究では, 単眼カメラにより撮影された動画像を入力とし, 指先のタイピング動作をマーカを用いずに実時間認識することを目的としている. 提案する手法では高速ビジョンの導入により, 通常のビデオ信号では判別が困難な指先の高速打鍵運動の認識に対応する.さらに, リアルタイム処理のために, 変形テンプレートマッチング処理を高速に演算するハードウェアを導入する. これらの要素をもとに, 空中タイピング動作に対する実時間認識を138fpsで行うシステムを試作した.

Fig. 1 空中キー入力インタフェースのコンセプト

Fig. 2 開発したシステムとリアルタイム認識結果

動画

参考文献

1. Kazuhiro Terajima, Takashi Komuro, Masatoshi Ishikawa: Fast Finger Tracking System for In-air Typing Interface, The 27th Annual CHI Conference on Human Factors in Computer Systems (CHI2009) (Boston, 2009.4.7) / Extended Abstracts, pp. 3739-3744. [PDF]
2. 寺嶋一浩, 小室孝, 石川正俊：高フレームレートカメラとFPGAによる空中タイピングシステムの構築, 動的画像処理実利用化ワークショップDIA2008(愛知, 2008.3.7)／予稿集, pp.304-309 [PDF]
3. 寺嶋一浩, 岩下貴司, 小室孝, 石川正俊：高速ビジョンを用いた空中タイピング動作の認識, 第13回画像センシングシンポジウム (横浜, 2007.6.7)／講演論文集, IN2-12
4. 寺嶋一浩, 岩下貴司, 小室孝, 石川正俊：携帯機器向け空中キー入力インタフェースのための手指の動作認識アルゴリズム, 第7回計測自動制御学会システムインテグレーション部門講演会(札幌, 2006.12.16)／予稿集，pp.1378-1379