概要
制作期間: 1週間程度
オーディオビジュアルイベント『Flow』の第2回を、2024年10月2日に開催しました。私は、TouchDesignerおよびUnityを利用し、DJ/VJパフォーマンスを行いました。
第2回目には、全体で約100名ほどの方にご来場いただきました。
技術詳細
第1回からの主な挑戦内容は、DJ/VJパフォーマンスを1人で行えるシステムを構築することでした。これを達成するために、主に以下の機能を実装し、目標である「操作者の意図を受け入れつつも高度に自動化されたVJシステム」の実現を目指しました。
- OSCを利用し、BPMに同期したタイミング信号の生成・送信
- BPMに同期したエフェクトの適用・解除
- BPMに同期した3Dオブジェクトの動作
タイミング信号はTouchDesignerから発信され、その信号をUnityとエフェクト処理用のTouchDesignerインスタンスが受信して動作を行います。この信号のルーティングのためにChataigneを利用しました。
Unityでの実装
Unityシーンのスクリーンショットです。人物の像、画面中央の船/車、グリッドはそれぞれ独立して可視性を切り替えることができ、オブジェクトの動きと可視性をBPMに同期して自動で変化させられます。地面となる平面は、頂点シェーダで波風に変形させ、フラグメントシェーダで模様を描画しています。
TouchDesignerでの実装
BPM保持インスタンス
値入力で指定されたBPMの保持処理と、そのタイミングを通知するOSC信号の発信を行います。
信号をChataigneに入力し、Unityとエフェクト適用TouchDesignerインスタンスに送信します。
エフェクト適用インスタンス
タイミング信号を受信し、主にSpoutを用いて出力された映像に対してエフェクトを適用する処理を行います。
フィードバック処理を用いた残像効果、フラグメントシェーダを利用したディスプレイ処理等を実装しました。
また、後述しますシミュレーション用インスタンスの実行中は、Unityシーンとシミュレーションシーンの切り替え・重畳表示処理も行いました。
シミュレーション用インスタンス
パフォーマンスの最後にTEMPLIMEによる楽曲『Hiko』に合わせて実行するための、Boidsシミュレーションを実装したインスタンスです。
孤独感と淡い希望を胸に飛び続ける本楽曲から影響を受け、コンピュートシェーダを利用して実現した数万体規模の飛行体群です。