概要
2024年度立命館大学映像学部学部内展覧会「EIZO JUNCTION x CAREER FAIR ジャンキャリ」のために制作を行いました。
足つぼマットと姿勢推定技術を利用し、音楽・映像を生成します。
動機・経緯
本作品は、当初人間の身体動作を入力とした演奏操作が可能な展示として構想を始めました。構想段階ではスクリーンの前でグラフに向かって手を振り、その情報を音楽に適用するものでした。
しかし、試作段階で単純な手の動きでは似通った動作になってしまうことを発見し、よりバリエーション豊かで個性的な動きを入力とするため、現在の形態での感性となりました。
入力
体験者の動きは広角カメラで撮影され、MediapipeのPose機能をを利用してその姿勢を推定します。
TrailTrekkingは以下の流れで動作します。
- 体験者がマットを渡った際の肩の高さを計測(Mediapipe, TouchDesigner)
- 1.の情報をUnityに送信。グラフの表示
- UnityからTidalCyclesへ、音楽のパターン情報を記録した文字列が送信。
- 体験者の姿勢変化を元に、音楽が変化