複数のセンサ情報 (同種または他種) から, 単一のセンサでは得られない有用な情報を抽出する技術の総称. センサ融合あるいはセンサ統合とも呼ばれる. 正確にはセンサデータフュージョン (Sensor Data Fusion) と呼ぶが, 省略形であるセンサフュージョンが定着している. 類似用語として, マルチセンサ (複合センサ), インテグレーション (統合) があり, 心理学分野では, バインディング (結合) も見られる. また, 発展系として, 情報統合 (Information Fusion) やセンサネットワーク (Sensor Network) の分野があり, これらの分野の処理構造の基盤となっている. センサ自体の複合化, センサの知能化に対するセンサ情報処理の構造論, ネットワーク構築や処理ハードウェアのアーキテクチャ論, 処理の計算構造に対する信号処理・統計処理や信号処理, 論理構造に対する人工知能や知識処理, 処理構造が未知の場合の適応･学習理論, 全体システムの設計論等が議論されている.

従来は, 感覚系で外界の認識をした後, 運動系にフィードバックされ行動が発現されるという直列モデルが主流であったが, 感覚系と運動系の関係は, これだけではなく, 認識のための運動の発現や下位のセンサフィードバック系の上位モニタとしての処理系等, 様々な形で統合的な処理モデルが考えられるようになった. このような処理構造を感覚運動統合と呼ぶ. 実際には, 脳のように超並列的な情報処理機構も必須の構成要素となる. 工学的に感覚運動統合システムを実現するには, アクチュエータやセンサ, コンピュータやアルゴリズム等, 感覚系・処理系・運動系を矛盾なく統合し, タスクや外界を含めて系全体を統一的に扱うことが必要となる. 本研究室では, 機能面と時間特性の両観点から感覚運動統合を行った高速ロボットを開発している.

産業用ロボットは, プレイバック動作に対しては高速の動作が実現されているが, センサフィードバック, 特に視覚フィードバックを導入すると認識系の処理に起因して動作が遅くなる. また, 人間の動作を目標とするヒューマノイドロボットをはじめとする知能ロボットでも, 感覚系・認識系の遅さに起因して, 全体の動作は遅い. 機械システムとしてのロボットの高速動作の動作限界は, 人間の動作に比べて速いので, 本研究室では, 感覚系・認識系を高速化することにより, ロボットの高速化を目指している. 本研究室が考えるロボット研究の目標は, 感覚系・認識系も含めて人間をはるかに超える速度で動作する知能ロボットであり, 人間の目には見えない速度で動作する知能ロボットである.

「知能」をどのように考えるかは, 従来からチューリングテストをはじめとして様々な考え方が存在するが, ここでは, 計算機の中＝情報の世界の中だけの知能ではなく, 実世界 (real world) の中で, 感覚系・認識系 (センサ技術), 処理系 (コンピュータ技術), 運動系・行動系 (アクチュエータ技術) が, 様々に変化する実世界と適応的にインタラクションするシステムと考える. この定義は, 従来の考え方を包含し, 実世界を対象とするため, より困難な問題設定となっている. この知能システムの実現には, 「知能」の計算理論 (computational theory) の構築, 特に階層的並列処理構造の構築, その理論を実現するための情報表現とアルゴリズムの構築, 特に内部モデル (internal model) と情報表現 (representation) 並びにフュージョンアルゴリズムの設計, さらには実際に実現するスマートセンサやスマートアクチュエータを含めたハードウェアの三つの要素が重要となる.

知能システムの分野では, 脳の情報処理構造にヒントを得て, 脳に限らず広く一般的な知能システムの処理構造のモデルとして, 感覚系, 処理系, 運動系を統合し, 機能ごとの処理モジュールが階層的かつ並列に接続された分散処理構造を基本とするモデルがAlbusによって提案されている. このモデルにおいて, 感覚系・認識系に入力されたセンサ情報は, 求心性情報 (afferent information) として, 上位の階層に向けて階層ごとに処理されるとともに, 情報の抽象度を上げていき, 処理後の情報は, 運動系・行動系を遠心性の情報 (efferent information) として, 下位の階層に向けて, 具体的な信号に変換されて, アクチュエータに伝えられる. 各階層では, それぞれの情報表現 (representation) と時定数 (time constant) により処理が行われるとともに, 多層・多重にフィードバックループが形成されている. 上位の層では, 判断や計画という論理構造を実現する知識処理が行われ, 下位の層では, 高いリアルタイム性の制約の中で並列性の高い信号処理が行われる. この構造の効果的な活用のためには, 目的に対するタスク分解が鍵となる (タスク分解の項を参照).

階層的並列分散構造を有する知能システムの構築において, 目的の機能を分散化された処理モジュールに実装する際に, 全体のタスクを処理モジュールごとに分解した上で実装する必要がある. これをタスク分解 (task decomposition) と呼ぶ. タスク分解の方法の違いにより, 知能システムの動作が大きく変わるので重要な課題であるが, 一般的な解はなく, いくつかの設計思想が提起されている. 基本構造としては, 感覚系→処理系→運動系という分解の直列分解 (sequential decomposition) と, 並列のフィードバックループを仮想に配置した並列分解 (parallel decomposition) に分けられるが, 実際のシステムでは, この両者の複合構造となる場合が多い. 直列分解は, 各モジュールの設計が容易であるという利点があるが, 高度な処理が間に挟まると全体が遅くなるという欠点がある. 一方, 並列分解は処理速度の面では優位となるが, ヒューリスティックにしか分解が見つからないという欠点がある. 本研究室では, 少ない次元のアクチュエータに対して, 並列モジュールからの出力の単純加算で出力するため, 処理モジュールの出力が時間的又は空間的に独立となるように設計する直交分解 (orthogonal decomposition) を提案している.

本研究室が提唱する高速のセンサフィードバックを行う知能システムに対する設計思想. 実世界で扱おうとする対象 (ロボット本体の物理系も含む) には固有のダイナミクスがあり, サンプリング定理により, 対象の完全な把握・制御にはシステムのすべての要素が対象のダイナミクスに対して十分な帯域を確保することが必要である. そこで, ダイナミクス整合は, 対象のダイナミクスをカバーするように, 感覚系 (センサ), 処理系 (コンピュータ), 運動系 (アクチュエータ) を設計することにより, 全体として整合性の取れた知能システムを実現することを意味している. もし, 一部に遅いモジュールがあると, 対象のダイナミクスに対して不完全な情報での制御となり, 全体システムはそのモジュールのダイナミクスに制約されることになる. 現在市販されているサーボコントローラのサンプリングレートは1kHz程度なので, 機械システムを想定した現実的な知能システムでは1kHzが上限の目安となる.

リアルタイムプロセッシングとは, 何らかの意味で定義された時間内に処理を実現することを補償した処理系を意味し, ロボットのような実世界で高速に動くシステムでは必須の技術である. 並列処理は, 演算処理の高速化に有効であるが, 処理モジュール間のデータ転送や演算の実行時間の変動などにより, 例えばプライオリティインバージョン (priority inversion) 等の問題が起こり, 全体として処理時間の制御が難しくなるため, ロボットに求められるリアルタイム性と両立させることは極めて困難になる. 従って, 多くの場合, 目的の機能に対してアドホックに処理を設計しているのが現状である.

環境やロボットの状況をとらえたセンサ情報をロボットの動作にフィードバックすること. 通常は, 視覚センサや触覚センサといった, 外界の変化や外界とロボットとの相互作用等を捉えるセンサからの情報に対するフィードバックのことをさし, 環境や対象の変化, ロボットとの相互作用等を認識・理解し, ロボットの行動にリアルタイムに反映させる制御のことをさす. 従来の産業用ロボットは, プレイバックと呼ばれる同じ動作を繰り返すことを目標に作られており, 繰り返し動作として精度や速度の仕様が設定され, 評価されていたが, センサフィードバックモードの場合は, 繰り返し動作とはならないため, 精度も絶対精度あるいは対象との相対精度で評価すべきで有り, 動作速度もセンサ情報処理系の認識・理解の処理時間も含めて, 設計する必要がある. 知能システムとして, 高速ロボットを実現するためには, 本研究室が提唱するダイナミクス整合のような設計思想が必要であり, なおかつ非繰り返し制御に対応するバックラッシュレスの機構の導入が必須である.

ロボットによる高速かつ高精度な位置決めを実現するのに, 機械的なバックラッシュ, モデル化誤差, 較正誤差等を含む動的な不確実性に対する処理は, 非常に困難な問題である. 特に, 生産性の更なる向上の目的で, 通常の応用のために設計された汎用ロボットを高速動作させる場合, それらの不確実性による影響も顕著に現れると考えられる. この問題を解決するため, 高速視覚フィードバック及び軽量の補正アクチュエータの融合による動的補償手法が, 我々の研究室によって提案された. 動的補償手法は, 以下のように３つの基本的な方針によって構成されている. (1) メインロボットが粗い高速接近の役割を担当するが, 安定性を確保する前提で不確実性については考慮せず, 精密な位置決めを補償アクチュエータに任せる. (2) 機械的なバックラッシュ, モデル化誤差, 較正誤差等を含んだ動的な不確実性は, 高速ビジョンで観測するロボットとターゲットの間の相対的な位置情報として表される. (3) 全体的な不確実性は, 高速に反応できる補正アクチュエータによって補償される （補償サイクルの遅延が十分に小さいと仮定する）.

センサフィードバックの中で, 特に, 画像情報に対するフィードバック制御を意味する. センサ情報の中で視覚情報は, ２次元パターン情報であるため, 画像処理の時間がフィードバックレートに内包されるため, 従来はリアルタイムフィードバックが困難とされていたが, 高速画像処理の導入により, リアルタイムのビジュアルフィードバックが可能となる. 画像情報をフィードバックする先は, ロボット本体の他にも, 対象物, 照明, 撮像カメラなど様々な形が考えられる. 例えば, ロボットの作業や把持の制御はもちろんのこと, 顕微鏡像の制御を行うマイクロ ビジュアル フィードバック, アクティブ ビジョン, ターゲット トラッキング等への応用が考えられている. また, 画像→世界座標系→作業座標系という絶対座標系をベースとした制御も考えられるが, 画像に写りこんだ対象とロボットの像からそれらの相対的な座標から制御を行う相対座標制御を導入することにより, 座標変換誤差を排除することが可能となる.

ネットワークの各アドレスに何らかのセンサを配置し, そのセンサ情報をネットワークで活用することを目的としたネットワーク. 従来のネットワークが, ノードとしてコンピュータを想定していたのに対し, センサ情報を対象とすることにより, ネットワーク上で物理世界の情報の把握が可能となり, ネットワーク上に接続されたノードからそれらの情報を利用することが可能となる. サイバーフィジカルシステム (cyber physical system) という考え方も提唱されている. 現状では, 従来のネットワーク構造にどのような形でセンサ情報を接続するかが課題となり, プロトコルの改良が行われているに過ぎない. 現在のネットワーク構造は, リアルタイム性, 情報の空間密度･時間密度, 安全性等の観点から, 本質的な意味でセンシングの基本構造を実現できる構造になっていない. 特に, 本研究室が提唱・実践する, センサ フュージョンや 感覚運動統合に不可欠な階層的並列分散構造上の タスク分解や リアルタイム パラレル プロセッシングの基盤を実現し, ダイナミクス整合に基づく, アクティブ センシングや インテンショナル センシングといったセンシングの構造を実現できる構造が, センサネットワークに必要である.

一般的にはいろいろな意味が与えられているが, 本研究室では, センシング・認識にアクチュエータを活用するセンシング手法をさす. 未知の環境に対して事前のセンシング行動や様々な補償行動が考えられる. 具体的には, 局所的なセンサで大局的構造を探索する際の対象(位置・特徴)の探索や局所性の回避(形状), 同様の目的であるが, 局所的に高分解能のセンサを用い, 大局的に走査することで実現される空間分解能の向上, アクチュエータ系の時系列信号とその応答から微細形状や表面テクスチャの最適化センシング, さらには, アクチュエータの時間特性を制御できることから, センサの動特性の補償, 特に微分的動作の補償等が考えられる. また, 自己の行動と認識との関係から, 環境と主体の行動との間の関係で認識・行動が成立するとするアフォーダンス(J.J. Gibson), 知覚循環 (U. Neisser), 選択的注意 (selective attention), 自己受容性に基づく自己認識等の考え方に強く関係している. 特に, 視覚ではアクティブ ビジョンと呼び, 触覚ではハプティックスという研究分野として注目を集めている.

センシングは, 求める情報が存在する解空間に対して, 計測値や拘束条件を使って解が存在する空間や領域を狭めていったり, 使える情報が多い場合には統計的な処理で最も適切な解を求めたりする過程である. 少ないセンサ情報で多次元の情報空間を対象とする場合には, 使える情報が対象の空間に対して少なくなる不良設定問題となったり, 広い情報空間の中の探索問題となったりする場合が多い. この場合, 解を拘束するには, 計測値ばかりでなく, 過去の経験や物理制約等を拘束条件として用いることが多いが, センシングには, センシングの目的が有り, その目的の明示的な記述を制約条件として使い, 対象の情報空間を制約することも可能である. そのような方法をインテンショナルセンシングと呼ぶ. この考え方は, 1991年～1995年に実施されたセンサフュージョンプロジェクトで提唱されたものであり, 感覚運動統合における能動的認識において, 大きな役割を果たしている.

人間の皮膚の受容器に相当するロボット用センサ. 一般には, 接触に伴うセンサ表面の圧力分布を計測するセンサを指す場合が多いが, 力センサや温度・熱流センサを組み合わせたものもある. 柔軟な弾性体の歪み計測を行うのが一般的であるが, 必要な柔軟性の確保と耐久性の維持, 様々な3次元表面形状への対応, 場合によっては大面積化, 分布情報取得のための回路技術, 取り付け空間が狭隘であるため配線量の削減等, 通常の電子デバイスには見られない設計条件が存在する. センサを固定した利用法もあるが, センサを可動部に取り付けた場合は, センサの運動が計測に強く影響するので, 能動性の強いセンサと言われている. 触覚センサを有効に働かせるための運動を触運動と呼ぶ. また, 触覚を運動と合わせて知覚構造を考えることをハプティックスと呼ぶ.

従来のマニピュレーションが低速で準静的な動作であったのに対して, 高速かつ動的な動作を基盤としたロボットマニピュレーションの総称. 例えば, 人間で言えばスポーツ時に見られるような躍動的な動作でかつダイナミクスの限界に近い動作の実現を目指すものであり, 従来のマニピュレーションでは実現しえなかった動作の実現を目指すものである. プレイバックやフィードフォワード主体の制御では, 限定された軌道でのダイナミックマニピュレーションが行われていたが, これらの方法も含め, 一般的に, 対象の加速/高速運動に追従する認識能力や運動能力が不足していたため, センサフィードバックを用いたマニピュレーションでは実現が困難であった. この問題に対して, 本研究室の高速ロボットでは, 広い帯域をカバーする高速のセンサやアクチュエータを開発するとともに, 対象の不安定状態および非接触状態の積極的な利用や高速動作を優先した少ない自由度での器用な操りの実現等, センサ・アクチュエータ系の性能を限界まで活用することにより, 新たなダイナミックマニピュレーションの創出を目指している.

サンプリングとは, アナログ信号（原信号, 連続値）の値をある間隔ごとにサンプル (離散信号) として取り込むことを意味し, その際の間隔をサンプリング間隔, この逆数をサンプリング周波数と呼ぶ. サンプリング定理とは, ある帯域制限信号の最大周波数に対して, その周波数の2倍以上のサンプリング周波数で原信号をサンプリングすることにより, サンプル値から原信号を完全に復元できることを意味する. このことから, システムの設計に当たっては, 対象の帯域を把握あるいは設定した上で, 2倍以上の帯域を有するセンシング系を用いることが, 対象を完全に把握するための必要条件となる. しかし, 現実には, 対象の帯域やサンプリング周波数をどのように設定するかは, システムの動作周波数の設定とともに, 極めて難しい問題である. そこで, このことも含め制御系設計を考えると, 設定した帯域の2倍ではなく, より帯域を広くとることが望ましく, 例えば, ロボットの制御 (時間軸) では, 10倍程度に設定することを勧めている教科書も存在する. 本研究室で扱うビジュアルフィードバックでは, 一般的なサーボコントローラのサンプリングが1msに設定されている場合が多いので, ダイナミクス整合の観点から視覚情報処理のフレームレートの上限を1,000fpsで実現することを基本としている. このことは, 理論的には500Hz以下の帯域で対象の把握が可能であることを意味しているが, 対象の制御という点では, 対象やシステムの動特性に依存して, もう少し下の帯域 (例えば, 100Hz～500Hzを上限とする帯域) をカバーしていることになる.

人間と機械システムまたはロボットとが, ある決まったタスクを協働して行うことであり, 動作支援, 作業支援, パワーアシストなどの応用が期待されている. 本研究室では, 感覚運動統合に基づいて開発した高速ロボットを用いることにより, 人間よりも高速な認識・処理・運動を可能とし, 人間の動作に対して低遅延の応答性を実現することで, 人間との高速な協調動作を達成している. 例えば, 人間とロボットとが把持した物体の姿勢制御において, 力センサや触覚センサを用いず, 高速ビジュアルフィードバックにより姿勢制御手法の簡易化に成功している. また, 人間だけでは困難なマイクロメートルオーダの嵌め合い作業に対して, ロボットが位置合わせを補助することにより, 本タスクを実現している. 特に, 機械システムおよびロボットの高速性は人間の動作の先読み・先回り支援を実現するものである.

従来, 柔軟体制御はロボットの低速動作によって, 静的もしくは準静的な環境下において実現され, その高速化は困難とされてきた. これは柔軟体のモデル化およびパラメータ同定が困難であり, かつ時々刻々変形する柔軟体の形状の把握が困難であることが主たる要因である. 本研究室では, 高速に柔軟体を操作することによりモデルの簡易化に成功し, ロボットの軌道生成を容易にしている. 例えば新体操のリボンを高速に操作することで, 手先の運動にリボンの変形が追従することを利用したものである. これにより, 連続体の偏微分方程式や多体系の連立微分方程式では表現することなく, 代数方程式に書き換えることができる. この方法に加えて高速ビジョンを用いることにより, 柔軟体の状態をリアルタイムで把握することにより, 紐の動的結び操作や布の動的折りたたみ操作等を実現している.

従来の二足ロボットは, 運動性能と認識機能に関してハードウェアのレベルで十分な能力をもっていないため, アスリートのようなダイナミックな運動には不向きであった. さらに, バランスを崩しても元の状態へ復帰できる許容範囲が狭いため, その狭い範囲から外れないように事前に動作を計画する必要があり, 複雑で計算コストの高い制御手法が主流となっていた. 一方, 本研究室では独自に開発した２つの要素技術を融合することで, 簡易な制御手法によって高速走行を実現している. 要素技術の１つは高速二足走行機構で, 軽量かつ高出力なモータによって, 地面を力強く蹴って加速する動作と, 空中で着地姿勢へ高速に復帰する動作が可能となっている. もう一つの要素技術は高速ビジョンで, 高速カメラを用いて1秒間に600枚の処理を行い, ロボットの状態・姿勢を高速に認識することによって, 走行姿勢を安定に保つことを可能にしている. これらによって, 不安定な姿勢でも転倒を回避するための瞬間的な反応動作を可能とすることで, より前傾した姿勢を取ることが可能となり, 視覚フィードバックを主体とした直観的な制御手法を実現している.

外力に対するロボットの応答特性を所望の機械的インピーダンス (慣性・粘性・弾性) で表現する力制御手法であり, 目標位置に対する誤差を許容して力の緩衝を実現することが出来る. 従来のインピーダンス制御は, ロボットを押せば押すほど元の位置へ戻るための反発力が強くなる弾性変形モデルで構成されていたため, 外力を自然に受け流すような可塑的挙動が困難であった. これに対して, 我々の研究室では, 衝撃吸収によって生じるバックドライブモーションを“ロボットの塑性変形”と捉えるコンセプトを提案し, 塑性変形モデルに基づいた低反発特性を有するロボット制御を実現している. このアーキテクチャを実現する研究として, 機械的バネとソフトウェアダンピングを統合したビジュアルショックアブソーバの開発や, サーボ制御により全てのインピーダンスを任意に調整可能な制御則が構築されている. また, 塑性変形と弾性変形の制御モードを各部分空間にそれぞれ割り当てることで, 外力を受け流す方向と外力に反発する方向を分離設定可能な制御則も提案されている.

ビジュアルエンコーダはロータの回転角を高精度且つロバストに計測するための計測手法である. 従来のロターリエンコーダで使われる光学パターンを応用したマーカーを導入し, 高速カメラシステムを用いて得られた画像をビジョン基盤手法で処理することにより, 高速回転系の計測における信頼性の向上を特徴とする. 基本原理として, マーカーに赤, 緑, 青の光の３原色で構成された色ブロックのパタンを配置し, 特定位置にある画素における色変化を追跡することにより回転角が計測できる仕組みとなっている. 色の推移を観測する画素の位置は, RGBカメラにより撮像されるマーカーの画像重心を基準として一意に決まるように設定される. 計測においては３原色を用いることで, 回転角だけでなく正転・逆転が同時に観測できるようになっている. ビジョン基盤手法の柔軟性とロターリエンコーダの信頼性, 両方が満たされるので, 高速ロボットを利用した非線形高速回転系の制御等への応用が期待される計測手法である.

様々なダイナミクスを有する現象に対して, 光学系・照明系・処理系等をうまくコントロールすることで, 通常では見ることができない対象や現象を人間にとってわかりやすい形で提示する技術. 従来の固定で低速の撮像システムでは,画角が固定されていることに起因して, 画角と対象の解像度の間にトレードオフが存在するため, 画角外の撮像や対象の高解像度撮像は不可能であった. また, 対象の運動等のダイナミクスが映像に含まれるため, 運動中の対象を高解像度でとらえることはできなかった. そこで, この技術により, 映像に混入する不要な運動を補償することにより,利用形態に合わせて必要とする映像の撮像が可能となる.

顕微鏡下の対象のように微細な物体を操作することは, 人間にとって困難であり, 特殊なスキルを操作者が獲得する必要がある. マイクロビジュアルフィードバックは, 微細対象の拡大像を高速ビジョンで捉えることにより, 対象に関する情報を高速・高精度・非接触にフィードバックし, 必要な情報・映像を取得する方法である. 微細なスケールでは物体の固有振動数やその大きさに対する相対的な速度が高速になるため, マイクロビジュアルフィードバックにおける画像処理やアクチュエーションの高速性は特に重要な要素となる. この手法により, 人間に過度の負担をかけることなく微細対象の自律的な操作を行うことが可能になり, 顕微鏡下の観察, 検査, 操作にブレークスルーをもたらすものと期待されている.

高速ビジョンを介して情報処理機構と結合することで, システムを構成するひとつのモジュールとして働く微生物. このモジュールを要素として, 柔軟かつ多様な機能を提供する超大規模マイクロシステムの実現を目指している. 生物にとって, 環境変化の的確な検知とそれに対応した素早い行動は生死に関わるため, 微生物も体内に高感度, 高精度なセンサとアクチュエータを発達させてきた. オーガナイズドバイオモジュールでは, 微生物を高感度センサと超小型アクチュエータが統合されたバイオモジュールととらえ, 複数のバイオモジュールと処理要素を結合させるインタフェースの開発により, 生物と情報処理機構を融合した新しいマイクロシステムの実現を目指している.

何らかの形で対象に情報やエネルギーを加えることにより, 有用な画像情報を得る技術. 様々な定義がなされているが, 最も広い定義では, 眼球運動に相当する視線制御を積極的に利用する画像処理, 構造照明等を用いて画像に意図的にパターンを照射することを利用する画像処理等が含まれる. 視線制御では, リアルタイムビジュアルフィードバックを用いる方法や記憶されている情報 (未確定情報) を用いて画像探索の効率を上げる方法等が用いられ, 固定のカメラでは得られない性能が引き出されている.

運動する対象 (target) を追跡し, 必要な情報を得る技術. 対象が複数の場合は, マルチターゲットトラッキングと呼ばれる. 運動中の対象の画像の取得を目的とする場合には, 対象の運動に追従可能な高速ビジョンにより対象を捉え, 視線方向を制御するアクチュエータにフィードバックすることにより, 対象を画角中心に捉える技術となる. 基本は, パンとチルトの２次元 (２自由度) の制御となるが, ステレオビジョンによる３次元トラッキングや高速フォーカシングによる単眼３次元トラッキング等も実現されている.

単なる平面スクリーンに対する投影ではなく, ３次元物体の表面を対象として, その位置や形状に合わせた映像の投影をプロジェクションマッピングと呼ぶ. 通常のプロジェクションマッピングでは, 対象となる投影面の位置と形状が既知である必要があるため, 変形のない静止物体を対象としていた. 運動する物体に投影する場合は, 物体の運動に対して遅延なく幾何学的整合性を保つ必要があり, 通常の投影系では時間遅れの分だけ，映像がずれることとなる．このような動的な対象に対して時間幾何学的整合性のある投影, すなわち遅延による位置ずれなく映像の投影を行うことをダイナミックプロジェクションマッピングと呼ぶ. 違和感のないダイナミックプロジェクションマッピングを実現する方法の一つに, 主に高速ビジョンと高速光軸制御系を用いることによって, 投影対象のトラッキングを精度良く実現し, 同じ光学系を用いて同軸で映像投影を実現する方法があり, 動的対象の時間幾何学的不整合を解消したダイナミックプロジェクションマッピングが可能となる. 対象の高速運動に適合するように制御された投影は, 新しいメディアアートや違和感のないヒューマンインタフェースだけでなく, スポーツ科学や製造現場等、幅広い分野での応用が期待される.

再帰性反射とは光の表面反射特性の一つで, 入射する光を元の方向に反射させる特殊な特性である. 通常の反射特性は, 入射光に対して拡散する反射光を生じる拡散反射や鏡のような鏡面反射（正反射）等であるが, 再帰性反射はガラスビーズやマイクロプリズム（コーナーキューブ）等によって, 実現することができる. 一般には夜間における道路標識などに用いられ, 道路標識が遠方に存在しても車のライトの再帰性反射により, 十分な明るさで運転者への注意喚起を可能とするものである. ただし, 完全に入射方向に戻る再帰性反射では, 反射光は光源に戻ることになるため, 必要に応じて光源の周りである程度拡散するように設計されている. この再帰性反射を用い, 同軸光学系や半透過鏡など適切な照明系を整えることで, 自己照明に対して特異的に反射光の強度が高くなるような照明撮像系を組むことが可能となる. このような光学系は, 露光時間の短い高速ビジョンでも十分な反射光量を確保できるため, 高速トラッキングや広い視野での空中映像の提示等にも用いられている．

カメラレンズや人間の眼などの光学系において, 像面に伝達する光の幅を制限する部分は瞳と呼ばれ, カメラレンズの絞りや人間の眼球の虹彩がその役割を果たしている. 複数の光学系を接続する場合に, 単に接続すると一方の光学系の瞳を通った光の一部が他方の瞳を通れなくなってしまい全体として像が暗くなったり, 像の一部が欠けてしまったりするといった問題が起きる. これを解決するために, 両者の接続部に, 片方の瞳を通った光線がもう片方の瞳も必ず通ることができるよう光線の具合を調整する光学系を配置することがあり, これが瞳転送光学系と呼ばれている. サッカードミラーでは小さな回転鏡を通過した光線が効率よくカメラレンズの瞳を通ることができるように, 瞳転送光学系が鏡とカメラレンズの間に配置されている.

ターゲットトラッキングのアルゴリズムの一種で, 高速画像の取得を前提としたシンプルなアルゴリズム. 高速画像の場合, 対象の像面での動きはフレームごとにわずかであるため, 前フレームの対象の周りにウィンドウを設定すれば, 次のフレームでの対象はそのウィンドウの中に存在することが仮定できる. もし, 像面での動きがそれ以上の場合には, 前提条件を満たすようにフレームレートを上げるようにすれば, 必要となるターゲットの探索範囲は極端に小さくなるため, 簡単なマッチングアルゴリズムで対象の抽出が可能となる. この方法は３次元トラッキングでも同様の方法が利用できる.

ほとんどのカメラや双眼鏡は, そのフォーカスを調節する機構を備えている. 既存の光学系は, 複数の固体レンズから構成されており, その一部のレンズの位置を変更することで, フォーカス調整の機能を実現している. しかし, レンズの位置を高精度に動かす必要があるため, その構造が複雑になって小型化の妨げになったり, フォーカス調整の高速化が難しいなどの問題点も存在する. 可変焦点レンズとは, ひとつのレンズ自体がその焦点距離を調節できるような機能をもつ新たな光学デバイスである. 可変焦点レンズが実現されれば, レンズを動かさずにフォーカス調節やズームを実現できるため, 従来にくらべて遥かに省電力, 小型, 高速かつ高機能なデジタルカメラなどが実現されることが期待される. 膜や板の変形, 液体と液体との界面の変形などを用いてレンズの形状を調整するものや, 液晶のように屈折率を変えられる 材料を用いる方式のものなどが盛んに研究されている. なお, 従来の機械的にレンズを移動させるタイプの光学系全体を指して可変焦点レンズと呼ぶ場合もあるが, 本研究室における「可変焦点レンズ」はレンズ単体でフォーカス調整機能をもつデバイスを指す.

全焦点画像とは, 視野全体でピントが合っている画像のことである. 特に, 視野全体にピントをあわせることが不可能な場合には, フォーカスの異なる複数の画像や, 特殊な光学系で撮影した画像に基いて, 計算機によって全焦点画像を合成する手法が盛んに研究されている. この手法が重要になる理由は, 次に述べる光学系の制約が存在するからである. 通常, カメラで画像を撮影すると, 画像の中にピントが合っている場所と合っていない場所が存在する. ピントの合う・合わないはカメラと撮影対象との距離で決まり, この距離が光学系によって決まるある範囲内であればピントの合った画像が撮影できる. このピントが合った画像が撮影できる距離の範囲を「被写界深度」と呼ぶ. 一般的に, 拡大率が大きいマクロレンズや望遠レンズで撮影する場合には被写界深度が浅くなることが知られており, 対象の位置に合わせてフォーカスを適切に調節することが重要になる. しかし, 対象が大きい場合などには見たい範囲が被写界深度に入らなくなり, 一枚の画像ですべてにピントの合った画像が記録できないという問題が起きる. 本研究室では, 高速可変焦点レンズを用いて, 高速の全焦点画像の取得を目指した研究を行っている.

ヘッドアップディスプレー (Head-up Display, HUD/ハッド) は, ユーザーの視野に図形やテキストなどの情報を重畳して提示する技術である. ユーザーは前方から視線をそらすことなく, 周辺デバイスなどの情報を視野内で表示された映像として視認することができる. 従来のHUD投影技術 (ここでは2D HUDと呼ぶ) は表示映像が数メートル先にあるように見せるものである. 2D HUDでは映像の空間的整合性のために, ユーザーの頭部位置が基準観測位置にあり, 視線が光軸に一致する必要がある. それに対し3D HUD技術は, 三次元空間に虚像投影を行う技術であり, 映像の表示位置を三次元的に変更することができる. そのためユーザーの頭部位置が基準観測位置から移動しても, 表示映像はずれることがない.

光軸 (optical axis) とは光学系で取り扱う光線束の代表的な軸のことであり, 拡散光を扱う一般的なカメラ系であればレンズの中心を通る主軸を指し, レーザー光などの平行光であれば光線束そのものとほぼ同じ意味となる. この光軸を上手く制御することで, 計測の高精度化など光学系の性能向上が期待される. カメラ系における光軸制御としては電動雲台式や駆動鏡面式が存在し, ビジュアルフィードバックを利用して運動対象に向けてカメラの光軸を十分な応答性に基づき制御することで, モーションブラーが少なく高解像度な対象の撮影が可能となる. これに対し, スネルの法則を利用した透過型誘電エラストマー制御方式では, 素材の厚みの変化に比例して光軸の位置制御量が更新されるため, 微細な光軸制御が可能となる.

陽炎（かげろう）に代表されるように，局所的な密度の違いが生じる気体では様々な光の屈折が生じる． シュリーレン法はその光の屈折を利用することで，衝撃波を含む流れを光学的に可視化する手法である． Background-Oriented Schlieren （BOS）法はその古典的なシュリーレン法を更に発展させた手法であり， カメラとテクスチャを有する背景のみを利用することで流れの可視化が可能という，実験装置として簡便な手法である． 特にトラッキングBOS法は，高速な移動体・飛翔体周囲の流れの可視化に向けて， ビジュアルフィードバックなどを駆使してカメラの光軸を計測対象に向け続けながらBOS法による可視化を可能とする手法である． 計測対象の運動に十分に追従する光軸制御性能と，光軸制御に伴うモーションブラーの影響を低減できる背景の選択が必要となるが， 計測対象付近における長時間・高解像度かつモーションブラーの小さな流れの可視化が可能となる．

プロジェクタは光線を制御して映像を投射することで現実世界の見た目を変化させることが可能だが， 光線制御に用いる液晶やDigital Mirror Device (DMD)の画素数は有限であり，映像投影において画角と解像度のトレードオフの課題を有する． ここで光学的に対となるカメラでは，複数の画像を繋ぎ合わせて一枚の大きな高解像度画像を生成するイメージモザイキングという手法が存在する． プロジェクタも同様に投影モザイキングという戦略によって画角と解像度を両立した映像表示が可能となるが， オフライン処理で問題ないイメージモザイキングとは異なり，投影モザイキングは極めて正確なリアルタイム処理が必要となる． 人間の視覚にとって違和感のない映像表現とするには，臨界融合周波数を上回る高フレームレートの映像制御， そして投影像の時間幾何学的整合性を満たすための高時間分解能の同期制御が必要となる． これらの課題は高速回転可能なガルバノミラーと低遅延映像制御が可能な高速プロジェクタの， Queue構造や交互動作に基づく同期戦略によって解決することができ，人間の動的注視点に応じた追従的高解像度投影モザイキングが達成できる．

カメラは，物体の世界座標系からイメージセンサの画像座標系への変換を伴う計測機器である． 座標変換において様々な特徴は変形を余儀なくされるが，ユークリッド変換における長さや面積， アフィン変換における線の平行など，一部の特徴は不変性を有する場合がある． ピンホールカメラモデルが意味する透視投影変換も同様に複比や楕円などの不変性をもつ特徴があり， 高速画像処理においてその不変性を積極的に活用できる．複比（cross ratio）は長さの比の比を指す特徴であるが， 平面から平面への変換を指すホモグラフィ変換としても利用可能となる． ビームスプリッター等を用いて光軸を一致させたプロジェクタ・カメラ系では，撮影画像と投影画像に三次元的な変換は不要で， ホモグラフィ変換による高速な二次元的変換で完結できる． 人間の眼球における矩形スクリーンの角膜反射像における複比やホモグラフィ変換を用いた，校正がほとんど不要な注視点推定も可能となる． 世界座標系の円や楕円が，透視投影変換によって常に楕円に見えるという特徴も有用で，サークルグリッドによるカメラ校正だけでなく， 球体上の円形マーカーによる遮蔽に頑健なダイナミックプロジェクションマッピングにも応用が可能である．

M系列とは最大長系列（Maximum length sequence）の和訳で，線形漸化式によって生成される数列であり， 通信や計測など幅広い領域で用いられる系列である． できるだけ不規則になるように設計された系列であり，2値のM系列，すなわちバイナリ乱数としてよく利用される． 鋭い自己相関性が特徴であり，一定長以上の部分系列のみ観察すれば全体における位置を一意に特定可能となる． 1次元信号だけでなく2次元パターンとしても設計が可能であり，カメラ等による位置決めにも利用される． 高速トラッキングのためのマーカーの符号化にも利用が可能であり， ベクタレーザー投影系を用いた破線マーカーにM系列による符号化を加えることで， 一枚の画像だけで絶対位置姿勢を高速推定することも可能となる．

運動対象のトラッキングには，事前に印刷や貼付されたマーカーをしばしば利用する． マーカー式はマーカーレスの手法と比較して精度や速度で優位性をもつ一方で事前準備および位置合わせの煩雑さの課題を有する． アクティブマーキング法はその解決策の一つとして，対象のトラッキングと同時に能動的にマーカーを付与する戦略である． 能動的な付与の一つの方法としてフォトクロミック色素を塗布した対象に紫外レーザーを照射することで，書き換え可能なドットマーカーが生成可能となる． レーザー光軸やカメラ画角をガルバノミラーで制御しながら対象にマーカーを付与することで，動的・インタラクティブな姿勢認識が可能となる．

実世界を捉え, リアルタイムに応答する高速ビジョン技術並びにその応用システムを応用開拓から, システム実現のための諸課題を設定・解決する学術分野. 様々な分野において新しい応用を切り拓くためには, 限界性能に近い動作を可能とするシステム技術の創出が求められる. そのためには, 応用・原理・デバイスの3者間の洗練された関係性を築くことで突出した性能と機能を追求することが肝要である. システム ビジョン デザインは, この設計思想に基づき, 人間の眼を遥かに凌ぐ超高速の画像センシングを軸として, 様々な分野において新しい応用を切り拓く実践的な研究を目指すものである. 具体的には, VLSI技術, 並列処理, 画像認識, 計測工学を駆使して, 超高速の認識・センシングシステムを創出し, ロボティクス, 検査, 映像メディア, ヒューマンインタフェース, デジタルアーカイブ等の分野で新しい応用を具現化している.

イメージセンサの各画素に光検出器 (PD: Photo Detector) とともに, プログラマブルな汎用ディジタル処理要素 (PE: Processing Element) を一体的に集積し, 汎用かつ高速な画像処理をチップ内で実現するデバイス. 走査のない完全並列の構造を持ち, 従来のように, イメージングデバイスと画像処理機構との間に存在するデータ転送のボトルネックが存在しないため, 小型, 軽量, 低消費電力であるだけでなく, 高い実時間性をもった高速画像処理を実現することができる. 処理アーキテクチャは, 画像処理に効果的なSIMD (Single Instruction stream, Multiple Data stream) 型の並列処理アーキテクチャを用いる場合が多く, 簡易型のA/D変換器も内包する. 汎用演算機構だけでなく, ターゲットトラッキング専用のデバイスも開発されている.

ダイナミックな変動現象の把握や, ビジュアルサーボに基づくロボット制御において要求されるサンプリングレートと遅延を充足するように設計された画像処理. 特に, 通常の画像処理で用いられるビデオレート (NTSCの場合で約30fps) 以下の画像に対して, それを上回る, 1秒あたり100～1,000枚の画像に対して, 同じ処理速度で実行されるものを指す. 対象の帯域をカバーできていない従来の画像処理が, 不完全な情報に対する予測や学習が必須であったのに対して, 必要な帯域をカバーするフレームレートでの処理を前提とするため, 処理アルゴリズムが簡素化し, 良好なレスポンスを実現することが可能となる. 一般に, 高速ビデオは, 撮像と録画の高速化を実現する技術であるのに対して, 高速画像処理は撮像と画像処理を高速化するものであって, 例えばリアルタイムビジュアルフィードバックを実現するためには, 高速ビデオではなく, 高フレームレートかつ低レイテンシーの高速画像処理が必須である.

画像のデータ構造と処理の特性を利用して, 並列化による高速化を図った画像処理及びそれを実行する専用の処理アーキテクチャに関する技術. デバイスレベルでは, 走査という逐次処理を排除すると同時に, 特徴量演算のための画素単位での処理の並列化や1,000個のターゲットを同時観測するための対象単位での並列化等がある. 並列画像処理では, データレベルでの並列性を利用したSIMD (Single Instruction stream, Multiple Data stream) 型の処理の導入やコンパクトな処理エレメント (PE: Processing Element) の実現のための ビットシリアルアーキテクチャの導入や多機能化のための リコンフィギュラブルアーキテクチャの導入などが図られている. これらを用いることにより, n×n画素の画像に対して, 1のオーダーの処理時間を実現することが鍵となる.

何らかの形で配列されているデータに対する取得・転送・表示等において, 並列操作ではなく, 要素ごとに逐次的に操作する方法である. 少数の処理・伝送回路で大規模データを処理できるという利点があるが, 速度の点では不利となる. 通常の画像は, 2次元データであり, 行 (row) 方向と列 (column) 方向に順次走査されて, 画像データとなる. グローバルシャッター機能がある場合は, データの同時性が補償されるが, その機能がない場合のデータの取得時間は走査のタイミングに依存し, 左上のデータと右下のデータは, 画像全体の走査時間 (＝フレームレートの逆数) となる. また, 左上のデータは1フレーム前の右下のデータの直後となり, 時間を考慮した画像処理では注意が必要である. 例えば, 走査方向と同方向に移動する物体と逆方向に移動する物体では, 映像がかわることになる.

２次元のデータ配置 (横方向を行, 縦方向を列と呼ぶ) を持つ画像データに対して, 一つの列に処理要素 (PE: Processing Element) を接続・割り当てた並列処理構造. 画素に対してPEを１対１に接続する完全並列型と画像全体を走査して一つの演算器で処理するCPU型の中間的な構造と言える. 行方向に走査するため, 完全並列よりは処理速度が遅くなるが, msオーダーの処理が実現可能である. また, 列の数だけ伝送線を出さず, 部分的に走査して伝送線やA/D変換の数を抑えるタイプもある. 本研究室が開発し, 浜松ホトニクスが実用化した インテリジェントビジョンシステムは, この構造を有している.

汎用プロセッサの処理アーキテクチャの一つで, １bit分のALU (Arithmetic and Logic Unit) をｎ回逐次的に用いることにより, ｎbitの演算を実現するアーキテクチャ. このアーキテクチャは, 少ない数の真空管を用いていた黎明期の電子計算機で用いられたもので, 最近のプロセッサでは32bitあるいは64bit分のALUを並列に用いるビットパラレルアーキテクチャ (Bit Parallel Architecture) が使われている. ｎbitに対して処理時間はｎ倍となるが, 処理回路が１bit分で済むため, 1画素に使えるトランジスタに限界があるビジョンチップや完全並列タイプの画像処理で導入されている. この際, 高速画像処理では1ms程度の処理が求められており, 処理速度には余裕があるため, このアーキテクチャの特徴が活かされている.

処理速度を向上させる上で, 処理を担うプロセッサ回路は, アルゴリズムに応じてその最適な構成が異なると考えられる. 個別のアルゴリズムに対して, 専用化された回路構成をタスクごとに再構成可能なアーキテクチャをリコンフィギュラブルアーキテクチャと呼ぶ. このアーキテクチャは, 専用化による高い性能の実現と柔軟性を両立する技術として注目されている. 本研究室の並列高速画像処理アーキテクチャの一部は, このアーキテクチャを実装しており, 様々な機能を同じハードウェアで実現している.

並列の演算処理回路に対して, 並列のデータパスを有し, 単一のインストラクションで制御する並列処理アーキテクチャで, SIMDは, Single Instruction stream and Multiple Data streamの略. 通常は同一の処理回路 (PE:Processing Element) を並列に配置し, それぞれの処理回路には独自のデータパス (画像の場合はピクセルのデータ)を有し, 並列処理回路全体で単一のインストラクションで制御するアーキテクチャである. 画像の場合は, もともと処理の均質性が高いので, このアーキテクチャに向いているが, 画素ごとの条件分岐をはじめとするMIMD (Multiple Instruction stream and Multiple Data stream) 構造の擬似的な実現やグローバル特徴量の並列回路での抽出等にノウハウがある. また, ハードウェア実現の観点からは, 同じPEを並べる構造となるため, 実際に設計するPEの規模は小さく, ワンチップ化やFPGAでの実装では, 全体の回路規模に比して設計の負荷は小さい.

画素ごとにフォトディテクタ (Photo Detector) の出力をCMOSスイッチで順次走査しながら画像を構成するタイプのイメージャ. CCDイメージャでは画素ごとのフォトディテクタの出力を一度並列にCCD (Charge Coupled Device) にチャージした上で順次転送するため, 画素データの同時性が補償されるが, CMOSイメージャの場合は原理的にこのようなグローバルシャッター機能がなく, 画素データの同時性が補償されていない. 近年, 回路の改良によりグローバルシャッター付きのCMOSイメージャが開発され, 今後増加するものと期待されている. また, 発展形として, スイッチ機能以外に, 主として感度向上等の撮像性能の向上のための回路を数個から20個程度のトランジスタで実現した画素構造が開発され, アクティブピクセル (Active Pixel) と呼ばれている. さらに, 画像処理等の機能を数十から数百トランジスタで実現した画素構造は, スマートピクセル (Smart Pixel) と呼ばれる. 本研究室で開発したビジョンチップはスマートピクセルの一種で, 汎用PE (Processing Element) を画素ごとに実現している.

動画像に対して, 1秒あたりに表示する画面の数のことを指し, fps (frame per second)という単位を用いる. 旧来のNTSC規格 (インターレース) では, 白黒で30fps, カラーで29.97fps, ヨーロッパのPAL規格では25fps, 劇場用のフィルムでは24fpsを用いたという歴史的な経緯から, 現在のハイビジョン規格では, 60fps, 30fps, 59.94fps, 29.97fps, 50fps, 25fps, 24fps, 23.98fps等が解像度とスキャン方式に応じて混在する. 走査方式には, プログレッシブ走査 (順次走査) とインターレース方式 (飛び越し走査) とがあり, 前者は走査線を上から順に走査するが, 後者は通常, 走査線1本おきの走査 (2:1と表記する) を走査線をずらして２回行って, 全体を走査する方法である.

一般に, イメージャの空間分解能は, 画素数で定義され, 例えば, 1,024×1,024画素（≒100万画素）や1,920×1,080画素（≒200万画素, HD規格）等をはじめとして, 現在では1億画素を越えるものが開発されている. ただし, 一般には画素データは走査によって読み出されるため, 高分解能になるにつれて, 転送時間や 転送回路の速度が増加することとなり, これらに対する対策が必要であり, 限界も存在する. すなわち, 時間分解能と空間分解能は, ある意味でトレードオフが存在し, この両者のどちらを優先するかや両者の統合といった課題が存在する．

イメージャあるいはデジタルカメラ (ビデオカメラも含む) の感度の表示は様々なものが使われている. そもそも計測における感度とは, 入力に相当する物理量に対する出力に相当する物理量 (多くは出力電圧) の比のことを意味するが, 日常的に「感度がいい」という場合は, 意味のある出力が得られる入力物理量の最小値 (計測では感度限界と呼ばれる) を意味している場合もある. そのため, 計測用の機器とデジカメ等の消費財では違う表現が用いられている. 前者の意味では, イメージャのデバイスとしての感度としては, イメージャの表面照度 (カメラでは像面照度) の時間積分値に対する出力電圧として定義され, 単位はV/lx·sであるが, 正確にはフォトディテクタの分光感度特性があるので光源依存となる. カメラの場合は, 像面照度に変えて被写体照度に対する出力特性として考えることになるが, カメラとしての出力を考えると, 出力電圧よりも得られる画像に意味があるため, 標準光源下での最低被写体照度 (感度限界) がよく用いられる. この場合, 光源やレンズ系に依存するため, 「最低被写体照度 0.06 lx /F1.4」等のように, レンズ系の特性や光源の特性を付記して表現する. また, デジタルカメラ等の場合には, 一般のユーザーの便宜のため, 従来のフィルムの感度との対応を表現する「ISO感度相当」や, 定義された被写体輝度が定義された基準値になる感度である標準出力感度等が用いられる.

イメージャの各画素データを同時に取得することが可能な電子的シャッター機能. イメージャの回路の動作原理から, CCD (Charge Coupled Device) 型のイメージャではこの機能が実現されているが, 通常のCMOS イメージャではこの機能がない. 近年, この機能がついたCMOSイメージャも開発されている. グローバルシャッター機能を使って撮像された画像データは, 各画素の同時性が補償されているため, 対象の運動の方向と走査の方向との干渉が生じない. ちなみに, 旧来の機械的シャッターも, その構造から撮像時刻の同時性は補償されていない.

能動的なパターン照明を用いた3次元計測方法. カメラと空間的あるいは時間的にパターン同定が容易な既知のパターン照明を投影するプロジェクターから構成され, 対象の表面上で反射した照明パターンと画像の対応から3次元位置抽出手法 (例えば, 三角測量の原理等) を用いて, 対応点での3次元位置の抽出を行い, それを画像面内を処理することにより, 3次元形状情報を得る方法である. 用いるパターン照明には様々な方法が提案されており, 対応点抽出が容易な場合には, 格子あるいは格子点パターンが用いられ, 対応点抽出が複雑な場合には, 対応点抽出のためにランダムドットや２次元M系列パターン, さらには色情報で変調をかけたもの等が用いられている. また, 扇状レーザーパターンの走査による光切断法は, 速度は遅いが精度が必要な用途ではよく用いられている. 対象表面が鏡面の場合には, 鏡面を考慮した対応点の同定が必要である.

画像内を多数の領域に分割し, 各分割領域の局所変化を同時に解析し, 計測量を推定する技術. 特に, 対象が多数の微小対象である場合には, 各対象に対する局所処理を画像全体で並列実行することにより, 全体として高速の多点計測が実現可能となる. 具体的な例としては, 粒子あるいは小型の製品の検査, 多数の細胞等に対するバイオイメージング, 血球・血流解析, 流体計測, 微生物の観測, マイクロ・微小物体のマニピュレーション, 基板などの表面洗浄のための塵検出, 大気中の粒子観測, テクスチャを用いた運動計測, 構造照明による3次元計測, イメージセンサによる可視光通信等がある. １秒間に1,000フレームの速度で, 1,000個以上の対象の状態を同時に計測するための専用プロセッサが開発されている.

計測対象の３次元の表面形状を取得する計測技術. 形状計測, 形状測定, 3次元センシングなどとも呼ばれる. 一般に, 機械的プローブを対象物表面に接触させアームの運動学から3次元位置を計測する接触式と光計測を主体とする非接触式がある. １点ずつ計測してスキャンする方法と, 画像により端点を同時に計測する方法がある. 画像ベースの非接触型の方法では, 多点の３次元計測技術が必要となり, 本研究室ではその高速化に取り組んでいる. その結果, 従来は静止した物体の観測が主流であったのに対して, 運動・変形する物体に対しても, 1kHzの速度でリアルタイムに形状を取得するシステムを開発した. このような超高速のリアルタイム3次元センシングシステムは, ロボティクス, 工業製品検査, 自動車, ヒューマンインタフェース等の分野で活用が期待されている.

テンプレートマッチングは, 入力画像から対象を検出するための画像処理の手法の一種である. 予め保持されている対象のパターンを入力画像上で走査するもので, 各走査位置でマッチング演算を行い, 得られる類似度に応じて, 対象の認識が行われる. マッチング時に利用される類似度には, SSD (Sum of Squared Difference：2乗誤差の総和), SAD (Sum of Absolute Difference：絶対値誤差の総和), NCC (Normalized Cross-Correlation：正規化相互相関)等の方法が提案されている. ターゲットトラッキングの場合は, 前フレームのターゲット位置に対して移動可能性のある範囲を探索範囲とすることから, 高速画像の利用により探索範囲を狭めることができるため, 演算量を減らすことが可能となると同時に, マッチング演算の並列化を導入するにより, 高速のテンプレートマッチングが実現できる．

画像に捉えられている対象を認識・理解するために, 画像パターンを何らかの演算により, 異なる次元の空間, すなわち特徴量空間に変換して, 目的に応じた特徴が抽出されるように演算を行うことを特徴量抽出あるいは特徴抽出と呼ぶ. この演算から得られる量を特徴量と呼び, 目的に応じて, 様々なものが提案されている. 特徴量には大別して, ある画素の近傍の画素データのみから演算・抽出するローカル特徴量と画像の全画素から演算抽出するグローバル特徴量が存在する. いずれの場合でも, 演算の高速化が鍵となるが, 特にグローバル特徴量の演算は, 全画素のデータを用いた積分量 (例えば, モーメント特徴はΣΣの演算) となり, その高速化には工夫が必要となる.

画像のモーメントは, 画像処理における特徴量の1種である. モーメント特徴によって, 対象のサイズ (０次モーメント), 位置 (１次モーメント／０次モーメント), 傾き (２次モーメント)等の幾何情報を表現することができるとともに, パターン認識においても有用な特徴量として利用されている. 本研究室では, モーメント特徴の演算をアナログの並列回路や画素ごとにプロセッシングエレメントを搭載する超並列回路を利用することで高速に演算するいくつかの方法を提案し, 実際に重心位置の計算で利用している.

流体あるいは流体に混入した粒子の動きをリアルタイムで計測する技術. 画像を用いた流体計測では, 流体中に粒子を散布し, その移動・位置情報から流速分布を時系列に得るPIV: Particle Image Velocimetryがよく知られている. フレームレートが不十分で粒子運動の直接計測ができない場合には, 粒子へ照射した光の散乱を観測し, 統計的な処理によって粒子数やサイズを特定する方法が用いられていた. これに対して, 本研究室で開発したリアルタイム多点計測は, 高速画像処理により, 通常オフラインでしか実行されない流体計測のリアルタイム化やパターン解析がリアルタイムで実現できるため, 粒子群のより高度な計測を行うことが可能となる.

紙媒体の書籍に印刷されている情報を電子化するための技術. 書籍スキャンあるいは書籍スキャニングとも呼ばれる. ネットワークや検索技術の発達並びに電子書籍の進歩に伴い, 書籍を電子化するニーズが全世界で急速に拡大している. 現在の技術は, コピーやフラットベットスキャナ等で培われてきた技術を活用したものが多く, 膨大な書籍を電子化するための技術としては, 速度と手軽さの面で十分ではない. 当研究室では, 書籍電子化の新しい方法として, ユーザがページをめくっている間に, 紙面の動きを止めることなく, 連続的に書籍を読み取る方法を提案し, 試作を行っている. この技術は, 高速3次元形状計測技術を用いて, ページめくりの最中のページの3次元形状を取得し, その形状情報を用いて撮像した映像をフラットなページ情報に変換する方法を用いており, 書籍を裁断する必要がなく, なおかつ書籍を上向きのままでスキャン可能である.

人間のジェスチャーを動作として認識する技術. ジェスチャーに応じた意味づけを行うことにより, 機器の操作を行うことを目的とする. 手だけの動作を対象とする場合と指の動きまで利用する場合があり, 前者は高速のジェスチャーの認識が, 後者は細かい指の動きを捉えることが課題である. テレビ (5m～3m), ゲーム･デジタルサイネージ (3ｍ～1ｍ), コンピュータ (30cm～1ｍ), 携帯機器･カーナビ(10cｍ～30cm)等における機器操作に応用することが考えられている. この際の手指の速度は, 通常のジェスチャーの手首の速度で50km/h程度と考えられ, 最高速度としては, 指先の動きで150km/h, 手首で100km/h程度と考えられる. これらの速度に対応した画像処理が必要で有り, 3次元認識が求められる場合もある. 出力は, 代表特徴点の時系列位置情報からパターン抽出を行い, ジェスチャーの意味の認識を行う場合が多い.

投影のフレームレート, 映像転送の速度, 投影されるまでの遅延などの速度性能が, 従来のプロジェクターを大幅に上回るもの. 例えば, 高速センシングと融合することで, 運動する対象物へ遅れなく投影することができる. プロジェクションマッピング, デジタルサイネージ, ユーザインタフェース, 拡張現実, ロボット制御や検査などのための画像センシングなど多岐に渡る分野でニーズが高まっている.

現実と見分けがつかないようなイメージを認知させることができる提示デバイス. また, コンピュータによってその色, 形, 質感などの特性を自在に制御することが可能なもの. 特に, 人間の視覚に基づく認知に影響を与える外界の物理的な要因として, 対象の幾何的な形状, 対象表面の光学的特性, 環境の照明状態の3つが挙げられる. リアリスティックディスプレーの設計においては, この3つの全てを現実の対象と近いレベルに到達させることが重要となる.

光検出器(PD: Photo Detector)と汎用ディジタル処理要素(PE: Processing Element)を, 異なる層に積層するタイプのビジョンチップ. ビジョンチップのコンセプトは, PDとPEを一体的に集積することで, チップ内で高速な画像処理を実現することである. しかし, PDとPEの両者をチップ内に一体化するため, 解像度や感度の性能を上げることが困難であった. 積層型ビジョンチップでは, PEやメモリなどの周辺回路を, PDとは異なる層に配置する半導体技術を用いることで, 従来の問題が解決されている.

光の明暗変化の時間周期を短くしていくと, 人間は次第にその変化を知覚できなくなる. 臨界融合周波数とは, この変化が知覚できなくなる時間変化の周波数の境界値を意味する. 映画などで映像を提示する場合に重要な指標となる. 光の強さや提示面積などの環境条件によって変化する.

プロジェクションマッピングとは, 実世界の物体の形状に整合するように映像を投影する技術を指す. ダイナミックプロジェクションマッピングは, 特に運動する物体への投影を目的としたタイプのプロジェクションマッピングを指す. 建物などのように静止した物体への投影に比べて, ダイナミックプロジェクションマッピングでは人間を含めて様々な実世界上の物体が自由に動いている環境において, その外観のみをシームレスに変化させることができる. このため, アート, エンターテイメント, ファッション, デジタルサイネージ, マンマシンインタラクション, 拡張現実, 学習支援などの様々な分野に展開可能である. ただし, 物体が運動することによって, 実世界上の対象物体と投影する映像が位置ずれを起こさないように, 高速なセンシングと映像投影技術が必要である. 高速ディスプレー型では, 高速なセンシングの情報をリアルタイムに解析することで, 対象表面に映像が整合するように高速に画像を生成し, 高速なプロジェクターで投影することを行う.

センシング技術, ディスプレー技術, アクチュエータ技術等の進歩により, 人間の感覚運動系の能力をはるかに超えた感覚運動系が実現できるようになり, 人間と機械システムとの関係は, 大きく変化しようとしている. そのような人間の能力を超えたシステムを積極的に用いることによって, 新しい人間との相互コミュニケーションを実現する技術分野をメタパーセプション (本研究室の造語) と呼ぶ. 従来のシステムが人間の機能に合わせたシステムの構築を目指していたのに対して, 人工のシステムがそれらの機能を上回る性能を持つ場合には, そのままの形でシステムを構成しても人間側が対応できないので, 人間の感覚運動系の機能と構造を理解した上で, 人間にどのような情報をどのように加工して出すべきかを考える必要がある. そのようなシステムの実現により, 本来人間が知覚・認識できない情報に対しても, 人間の関与が可能となる.

スマートレーザースキャナは, 測定対象物に対して構造的な光線の運動を付与したレーザー光を当て, その反射光の強度変化を単一の受光素子で捉えることにより, 対象の形状や運動を捉え, それらに対して適応的な光線の運動を与えることにより, 対象に応じた光線の動きを実現するものであり, 光線の方向と反射光の強度から３自由度の計測が可能であり, 3次元位置計測, ２次元の対象の特徴トラッキング等を可能とするシステムである. 適応的な動作の設計に応じて, 意味のある動作を実現することが可能であり, 特にその高速性から, レーザー光が対象の変化に応じた動作を行うことが可能で, インタラクティブなインタフェースにも利用することが可能である.

光学的な計測を行う場合, 計測に用いる照明やビームをそのまま, あるいは別の光源を用いて, 表示系を同一の光学系を通すことにより, センシングと表示を同時に実現する方法. 例えば赤外のレーザービームで皮膚から血管像の計測を行い, そのビームと同じ場所に可視光レーザービームで計測結果を表示することによって, 皮膚表面に計測結果の表示が可能となる. 実物に表示でき, なおかつ同じ光学系を用いることにより, センシングと表示の位置ずれを起こさないという利点がある.

従来のディスプレーは, システムがもっている情報を何らかの形で表示し, 人間に伝えるだけのものであり, 利用している人間の意思や意図は, ディスプレーではなく, キーボードやマウスを通してシステムに入力されていた. インタラクティブディスプレーは, 人間の意思や意図をディスプレーで直接入力することを可能にするもので, 人間とシステムの直接的な相互コミュニケーションを可能とするものである. ディスプレーに直接入力することは, ディスプレーの座標系と入力デバイスとしての座標系が一致していることを意味し, キーボードやマウスで必要とされる人間の脳の内部での座標変換が必要なくなり, 直感的で快適なインタフェースが実現される. この際, 人間の動作から表示までのレイテンシーが操作感に大きく影響する. このため本研究室では, 高速ビジョンを用いることにより, 入力のレイテンシーをmsオーダーに押さえることにより, 高速の動作にも追従し, 追従性の高いディスプレーを実現している.

人間とシステムとが相互作用（インタラクション）する場面において, 「システムが人間の視覚認識速度よりも高速に認識・行動し, 人間が認識できない遅延レベルと高サンプリングレートで人間とシステムとの相互作用を実現する」インタラクションシステムの基本設計思想を指す． 従来システムよりも高速な応答性を有するシステムを構築することにより, その速度性能によって人間とシステムとの協調性やリアリティを高め, インタラクションの質をも向上させるものである．知能システムが人間の視覚認識速度よりも低遅延かつ高速に動作することで, 人間がランダムかつ高速な運動を行ったとしても対応可能であり, 人間がシステムの挙動に適応する必要が無く, 操作性や正確性に優れたシステムとなる．本設計思想に基づくシステムとして, 例えば勝率100%じゃんけんロボットでは, 全体処理が約23ms（画像処理が2ms, 制御指令が1ms, ロボットハンドの運動が約20ms）で実行されており, 人間が遅延（後出し）に気づかないレベル（30ms以内）でロボットシステムが動作している. これにより, 人間の動作に協調しつつ, 人間を超える性能を実現している．本技術は, VR, ARから人間の運動の先回り支援, パワーアシスト, 人間機械協調まで, 幅広い応用分野において適用可能であり, 特に遅延やサンプリングレートが重要となる場面において大きな役割を果たすと考えられる.

人間は, 自らの脳が指令した運動に対しては, 自らの感覚系を通して, その指令の実行状況を知ることができる. この性質を自己受容性と呼び, 身体性に関連した自己の認識を司るものとして, また異常の認識や他人や環境の存在の認識において, 極めて重要な役割を担っている. 脳の内部では, 遠心性 (efferent) の情報としての運動指令は, 運動系に伝達されるとともに, 認識系へもコピーされる. このパスは, 遠心性コピー (efferent copy) と呼ばれ, 求心性 (afferent) の情報である感覚系の情報と比較されて, 外界並びに身体のモデルの同定に用いられる. ヒューマンインタフェースの設計では, いかに自己受容性を実現するかが一つの指標となり, インタフェースにおける自己の認識の形成, ひいては没入感等の実現に重要な役割を果たす.

ヒューマンインタフェースにおいて, バーチャルな世界に自己を何らかの形で投射した場合, その表現を自己のものとして理解できるかがバーチャルな世界への没入感の指標となる. 表現のテクスチャーやダイナミクス, 表示のレイテンシーや同期性等が関係し, 自己受容性の確保が鍵となる. また, 逆説的に自他の識別にもつながり, その明確な定義は極めて難しい課題とされている. 一般に, バーチャル世界で表現される自己は, 現実世界の自己とは違い, 情報のずれが存在し, そのずれの程度と人間の脳内での処理の関係で自他の識別が決定されるため, ヒューマンインタフェースの実装にあたっては, 自己認識が容易なシステムの実現が一つの指標になる.

触覚に関連する知覚･認識の処理構造を対象とする学術分野. 皮膚の受容器としての触覚は, 機械的接触圧力や熱流・温度の表面分布を測定量とするセンサと見なすことができるが, 手をかざしただけでは対象の情報は得られず, 手を動かして対象に接触させて始めて情報の取得が可能となる. このような手の動作を触運動と呼び, 認識のための運動の発現として, アクティブセンシングの典型例の一つと考えられている. つまり, 触覚認識では,皮膚の受容器と触運動を一体のものとして考える必要がある. 触運動の発現は, 認識の準備行動, センサの動特性の補償, 局所性の回避, 空間分解能の向上, 表面テクスチャの認識等, 様々な機能に必要な機能である.

一般的な映像ディスプレーは, フラットな平面上に提示されるものであり、インタラクションもその平面上の2次元に拘束されるものであった. これに対して、映像が提示されるディスプレー環境に、自由に変形するデフォーマブルな構造を導入することで, 3次元ユーザインタフェースとして全く新しいインタフェースを提供することが可能となる. 具体的には, これまでの通常のマルチタッチの操作に加えて, 押し込みや変形といった新たな操作も可能となるとともに, インタラクションに応じて生じる曲面への映像提示を実現することができ, 様々な次世代のインタラクティブデジタルメディア環境を提案している.

人間の知覚には受動的知覚と能動的知覚に大別されるが、一般的に能動的知覚において身体動作による動きが加わることによって、 受動的知覚では感じ取ることができない情報を知覚することが可能となる. この従来の能動知覚に加え、人や機械において、 能動的動作や刺激を加えることで本来の人と機械の能力を超えた知覚・認識系を実現する技術分野をアクティブパーセプションと呼ぶ. まず、人や機械に対して、どのような動作や刺激を加えることで能力の限界を突破できるかについて把握する必要があるため、 システムの設計段階で未知のパラメータの探索を行う. そこで得られたパラメータを元にしたシステムと認識系を組み合わせることにより、人や機械の、情報に対する新たな関与の仕方を可能とする.

高速移動体からの撮像ではモーションブラーが生じることから、鮮明な画像を得るためには、 シャッタースピードを高速にする必要があり、同じ感度条件の下では強力な照明が必要となる. そのため、例えば、高速道路のトンネル壁面の検査用の撮像は、トンネルの交通を規制する必要が生じ、頻度の高い検査の障害となっている. このモーションブラーを取り除くため、像面情報のみから対象との相対速度と同じ速度で、 撮像系の光軸を高速に追従制御する「画素単位ブラー除去イメージング」を本研究室では提案している.

スポーツの訓練において、見よう見まねで動作を繰り返すことや本または言葉による指導での技能の習得が一般的であるが、 これに対し、近年ではメディア技術を駆使した効率的なスポーツ訓練システムが開発され、 学習効率の最適化が図られてきている. システムの設計仕様として、実際のスポーツを行う場面と訓練時の差異が極力少ないことが効率的な訓練のために必須であり、 差異の要因としてシステムの空間分解能・時間分解能・動作遅延の3点が挙げられる. 本研究室では、リアルタイム性を考慮した高速カメラによるビジュアルフィードバックを利用したスポーツ訓練システムの提案を行っている.

映像情報を含んだ通信系では、単位時間あたりの情報量が他のモダリティーと比べて多いため、 情報の入力から出力に至るまで遅延時間が生じやすい． そのため、VRやARといった身体の自己受容性との調和を前提とした入出力システムにおいて、 映像遅延が生じることでタスクパフォーマンスや没入感の低下を引き起こすことが知られている． 一方で、近年高速カメラや高速プロジェクタといった映像情報を高速に処理可能なデバイスが増えており、 それらを利用した低遅延の没入環境の構築が可能となっている．

人間の視覚系は様々な要因により、物理的な情報とは異なった情報を知覚する錯視現象が生じる． 例えば盲点の補完のように錯視が有用に働く場合がある一方で、人間にとって重要な視覚情報を取得できない可能性がある． そこで、後者の状況を想定して錯視が生じる前の視覚情報を人間に知覚させる「錯視補償」が提案されている． 特に、アイトラッカー等によって視線の動きを取得することで、視線に連動して生じる運動錯視を動的に補償する手法の効果が確認されている．

自動走行手法の一部として、道路上の画像から白線情報を取得し車両の自己位置情報を推定する． 画像処理に利用する計算機の計算能力やカメラ感度の向上に加え、車両がセンシングデバイスを搭載するようになったことで、 精度や時間分解能が向上しつつある． 走行型点検車両が道路上の構造物を点検する際は、白線認識から得た車両位置情報をリアルタイムに点検箇所の座標系に変換し、 アクティブビジョンによって視線制御する．これにより、狙った箇所を点検し続けるシステムの構築が可能となる．