IshikawaNamikiLaboratory

視触覚モダリティ変換

実世界の環境を、臨場感を持ってリアルタイムに提示することで、あたかも別の環境に存在するかのような感覚を人間に与える技術は、テレイグジスタンスなどの人工現実感システムにおいて重要な技術である。実環境情報をリアルタイムに提示するシステム(以下実環境提示システム)は、実環境をセンシングするセンシング系とそれによって得られた情報の人間への提示を行う感覚提示系を結びつけ、リアルタイムに動作させることで実現できる。人間の感覚器は、5感と呼ばれるように異なったモダリティ(感覚情報処理の様式)を持っており、臨場感のある提示を行うためには、これらの複数の感覚器に対して適切な感覚情報を提示することが必要となる。そのため、一般にセンシング系は視覚センサや触覚センサなどといった複数のモダリティを持つ、すなわちマルチモーダルなセンサ群を備え、感覚提示系もまたマルチモーダルな感覚提示装置を備える。

従来の実環境提示システムは、カメラなどの視覚センサの情報を、HMDなどを介して人間の視覚に提示し、マニピュレータの触覚センサの情報を、触覚提示装置を介して人間の触覚に提示するというように、センシングと感覚提示の対応するモダリティのみが結び付いており、異なるモダリティの間の関係はあまり考慮されてこなかった。しかし、異なるモダリティを持つセンサ情報を統合することにより、実環境の情報を安定して精度良く得ることができる。また、視触覚の能動的統合などといった、人間の感覚情報の統合メカニズムを考慮した感覚提示を行うことで、より臨場感のある実環境提示が期待できる。これらを実現するためには、異なるモダリティの間に何らかの関連を持たせる必要がある。この時基盤となるのが、異なるモダリティの間の情報の変換手法である。今回、この変換手法のひとつとして、視触覚モダリティ変換を提案した。これは、実環境の視覚情報のみによって実環境に仮想的に触ることができるように、視覚情報から触覚情報にリアルタイムに変換する手法である。この手法の利点は、実環境からの触覚情報を、容易かつ非接触に得ることができることである。例えば、マニピュレータに触覚センサを取り付けて触覚情報を得ようとすると、大がかりなシステムとなり、触覚情報を安定して得るための制御も難しい。視触覚モダリティ変換の概略は以下の通りである。

実環境において、人間による仮想的な接触の対象となる物体に関する視覚情報を得る
得られた視覚情報から、対象となる物体の形状を得る
対象となる物体の形状と、対象となる物体が人間の触覚に与える感覚情報の間の変換をあらかじめ定義しておき、その定義に基づいて触覚情報を得る

システム

視触覚モダリティ変換を実装した実環境提示システム

参考文献

大脇崇史, 中坊嘉宏, 並木明夫, 石井抱, 石川正俊 : 視触覚モダリティ変換機能を有するリアルタイム実環境提示システム, 日本バーチャルリアリティ学会第2回大会論文集, pp.151-154, 1997.