スコアライト:レーザーを用いた人工的共感覚生成楽器
概要
スコアライトは,手描きの線に沿ってリアルタイムに音を生成する楽器のプロトタイプである. 同様に,(手,ダンサーのシルエット,建築物などの)3次元の物体の輪郭に沿って音を出すことも可能である. また,このシステムは,カメラとプロジェクタを使用しておらず, レコードプレイヤーにて針がレコードの表面の溝を探索しながら音を出すように, レーザーが絵の輪郭による溝を探索しながら音を出す.音は,描かれた線の垂直方向からの角度,色,コントラストなどの曲がり具合によって生成され,変化する. また,空間性をもっており(下図:4つのデバイスを用いたシステム), デバイスの探索位置,スピード,加速度などによってパンニング(音の定位の設定)ができる. スコアライトはジェスチャーや形,色などの見えるものを音に変えるといった, 人工的な共感覚を実現している. 例えば,線の方向が急に変わると,(パーカッションやグリッチのような)離散的な音が起因され, それによってベースとなるリズムが生まれる(一辺の長さによってテンポが定まる).
このハードウェアは,とてもユニークである. なぜなら,カメラとプロジェクターなしで(一点のセンサーと光源により) 非常になめらかで速い動きのトラッキングが可能だからである.この光線は, 盲目の人が杖を使って道の様子を探るのと全く同じ方法で,照射された物体の輪郭に沿って探索を行う. トラッキング技術の詳細はここに記す. このシステムを(右図のように)テーブルの上で使用するとき,レーザーの電力は0.5ミリワットとなり, 弱いレーザーポインタの半分程度の電力となる.そのため,このシステムによる事故は起きにくいだろう. より電力の強い,多くの色を備えたシステムは, 10メートル離れた建物の表面を(音と共に,目に見える形で)"augment"(強調)するなど, 街の外観を "朗読する" ときなどに用いられる.
このシステムが楽器として価値があるかを評価するにはまだ早い. (幅広い表現が可能か? 操作できることとランダムに生まれるところのバランスをどうするべきか?)しかし, 興味深いことに,今のスコアライトは既に(芸術的な?)研究において予想だにしなかった方向を暴きだした. ユーザーは,自分が絵を描いたり作曲をしていたとしても,そのことを本当に知らないということである. 実際,聞こえるものと見えるものの相互の関係や(リアルタイムの)フィードバックがとても強力なため, ユーザーは,行動と音の新しい関係を作ろうとする欲求に駆られるだろう. 絵を描いたり(drawing),演奏したり(playing)しているわけではないが,同時にしているのである. drawplaying?
動画
Collaborative play
参考文献
- Cassinelli A., Manabe D., Perrin S., Zerroug A. and Masatoshi I.: scoreLight & scoreBots, ACM CHI'12 (Interactivity), May 5-10, 2012, Austin, Texas, USA (2012) [PDF-1MB]
- A. Cassinelli, Y. Kuribara, A. Zerroug, D. Manabe and M. Ishikawa, scoreLight: playing with a human sized laser pickup, International Conference on New Instruments for Musical Expression (NIME2010), 15-18th June 2010 Sydney, Australia, pp:144-149, (2010) [PDF-2.5MB], Slide presentation (without videos) [PDF-11MB]
- A. Cassinelli, Y. Kuribara, D. Manabe and M. Ishikawa, "scoreLight", Digital Content Expo 2009 Symposium (25 October 2009, Miraikan - Museum of Emerging Science and Innovation, Tokyo): Slide presentation [PPT].
- A. Cassinelli, Y. Kuribara, D. Manabe and M. Ishikawa: "scoreLight: a laser-based synesthetic experience", additional documentation for SIGGRAPH ASIA 2009 (Art Gallery), [PDF-1.7MB].
- Check a more complete page here: http://ishikawa-vision.org/perception/scoreLight/scorelight.html