概要
制作期間: 2日間程度
オーディオビジュアルイベント『Flow』の第3回を、2024年12月4日に開催しました。私は、Unityを利用し、VJパフォーマンスを行いました。
また、第3回では2名のDJの方に対して別々のVJシステムを構築し、パフォーマンスを行いました。
第3回には、約300名ほどの方にご来場いただきました。
技術詳細
両者とも、Unityを利用したリアルタイムレンダリングを行うシステムです。パフォーマンス中はシーンを構成するオブジェクトの可視性・オブジェクトの動作等を操作することで見た目を操作します。
また、第2回と比較して自動化面でも改善を行いました。今回実装したUnity内で実装したリズムキープ用クラスは、現在のテンポを特定キーの連打操作で入力できるほか、2小節・1小節・1拍・1/8拍・1/16拍のそれぞれの時間スパンについて、現在フレームが当該タイミングであることを示す"OnTiming"情報、現在フレームが各スパンのうちどの程度の進行度の地点であるかを示す"Progress"情報を提供します。
以下に、制作した2システム間の特徴点をご説明します。
システム1
こちらのシステムでは、BPMに同期したカメラの動き制御と、シェーダーによる壁面の模様描画、コンピュートシェーダーによるパーティクルの制御を行います。
パーティクルは会場内に流れている音声をリアルタイムに解析し、低音域のレベルに応じて発光状態が切り替わります。また、パーティクル同士の衝突処理を実装しています。
システム2
こちらのシステムでは、DJの体の動きをMicrosoft Azure Kinectを利用して計測し、その動きを画面上のキャラクターに反映します。