福地健太郎のページ / 研究

[Japanese|English]

EffecTV: リアルタイム動画像処理の娯楽応用

EffecTV は、ビデオカメラからの映像に、映像の動きを反映した映像効果をリアルタイムに(時間をかけずに)加えることができるソフトウェアシステムです。 ビデオカメラの前で体を動かすだけで、動きに合わせて発光したり、おかしな動きになったり、燃え上がったり透明人間になったりと、様々な楽しい映像効果を体験することができます。 EffecTV のリアルタイム動画像処理技術はこれまでに、音楽イベントでの観客参加型アトラクションとして利用されたり、 バンド演奏の背景映像として演奏者の動きに合わせた映像効果に用いられた他、 演劇やダンスパフォーマンスなどの舞台演出などに幅広く利用されています。

EffecTV は、2001年にオープンソースソフトウェアとして公開され、 以降オープンな開発体制のもと現在まで開発・発展が続いています。ソフトウェアの内容・全映像効果・ソースコードについては、 effectv.sourceforge.net を参照してください。 また、EffecTV を使った個人的な作品については、作品のページで扱っています。

EffecTV

EffecTV は、いわゆる「デモ(メガデモ)」と呼ばれるソフトウェア分野で培われた、 高速な映像生成のための最適化技術と動き検出の技術 (あとはちょっとしたアイディア) を組み合わせて作られています。 これにより、「リアルタイム性 ( = 映像効果が遅れなく得られる)」と 「面白い映像効果 ( = 光学フィルタのような単純な効果ではない)」 を達成しています。また、このようなシステムは以下のような特徴があります。

インタラクティブ性
自分の動きに反応した映像効果が得られるので、利用者は試行錯誤的に楽しむことができる。
外部情報への同期
舞台上の演奏者や役者などの動きにほぼ同期した映像効果が得られる。

従来のビデオカメラやビデオ編集機器に搭載されているビデオイフェクタは、 その映像効果は色変換や座標変換などの比較的単純なものに限られていました。 また、ノンリニア編集システム等では多彩な映像効果が提供されていますが、 これらは映像の保存・映像効果の生成などの手間を要するため、その結果をすぐに確認することができなかったり、 体の動きを試行錯誤することは困難でした。

代表的なシステム構成

EffecTV の使い方は様々ですが、代表的な構成例を二つ示します。 下図左では、利用者はカメラの前に立ち、 体を動かしながら同時にイフェクトのかかった自分の姿を正面のディスプレイで観ることができます。 街頭やショウウィンドウなどでのインタラクティブ玩具として設置する場合、この構成をとります。 一方、下図右では、カメラは舞台上のパフォーマーを撮影し、 イフェクト映像はパフォーマーの背後に投影され、 観客はパフォーマーとディスプレイの両方を同時に観賞します。 演劇や音楽演奏のステージで使用する場合、この構成をとることがほとんどです。

構成例(1): 玩具型 構成例(2): 舞台型

応用

これまでに EffecTV はそのインタラクティブ性の高さを活かして、以下のような場面で使用されています。

リアルタイムで映像効果を生成できるため、特に舞台での使用では、 舞台上の進行を映像にあわせる必要はなく、常に舞台での動きに同期した映像を提示できます。 そのため、演者の即興的な動きを演出に取り入れることができます。 また、動きに同期した映像効果は、音楽演奏の場合、そのまま音楽のリズムにあった映像となります。

映像例

論文

その他の情報

以下のオンラインメディアでEffecTVが紹介されました。

We're getting down computer action.
Do the robotic satisfaction.

Beastie Boys, Body Movin' from "Hello Nasty".

福地 健太郎 (メールアドレスはこちら)