概要
- A$AP Rocky の「Helicopter」MVは ダイナミックガウススプラッティング を大規模に採用
- Evercoast や Grin Machine など複数チームが技術面を担当
- ほぼ全ての人間パフォーマンスを ボリュメトリックキャプチャ で収録
- 撮影後の編集や再照明など ポストプロダクションの自由度 が飛躍的に向上
- AI生成と誤解されがちだが、 全て実演・実空間での収録
A$AP Rocky「Helicopter」MVにおけるダイナミックガウススプラッティングの実践
- A$AP Rockyは Radiance Fields技術 の熱心なファン
- 「Helicopter」MVでは 初期MTV的なカオス感と動き が特徴
- 視聴者が気付きにくい点として、 ほぼ全ての人間パフォーマンスがボリュメトリックキャプチャ で記録
- Evercoast、Grin MachineのChris Rutledge、WildCaptureのWilfred Driscollらによる 技術協力体制
- Dan Strait監督 が、ポストプロダクションの自由度を重視してボリュメトリック撮影を選択
撮影と技術的背景
- メイン撮影は 2023年8月、ロサンゼルス で実施
- Evercoastが 56台のRGB-Dカメラアレイ を使用し、2台のDellワークステーションで同期
- パフォーマーはワイヤーで吊るされ、天井バーで懸垂、プロップを使ったスタント等を実演
- 実際のセットでは木製の板や実物プロップを使い、後から データ上で除去や再構成 が可能
- 10TB超の生データ を収録し、最終的に約30分分のスプラット映像（PLYシーケンスで1TB）を出力
ポストプロダクションとワークフロー
- Houdiniで CG Nomads GSOPs を使い、シーケンス操作や編集
- OTOYのOctaneRender で最終レンダリング、スプラットの再照明も可能
- Evercoastのシステムで、 撮影現場での空間プレビューや即時メッシュプレビュー が可能
- 大容量データをダウンロードする前に Webプレイヤーでレンダリング確認 が可能
- これにより、 迅速かつ低コストでクリエイティブな判断 が可能なワークフローを実現
- Blenderも レイアウト・プリビズ に活用、軽量なプロキシキャッシュでシーン計画
- WildCaptureのツールで ポーズ推定スケルトン を生成し、動作転送や物理シミュレーションに活用
視聴者の反応と技術の意義
- 視聴者の多くは AI生成と誤解 するが、全て 実演・実空間でキャプチャ
- ボリュメトリックキャプチャにより、 カメラアングルや構図の制約から解放
- 撮影後に 自由なカメラ配置やパフォーマンスの再合成 が可能
- Radiance Fieldsは 現実を置き換えるのではなく、現実を保存・拡張 する技術
関連事例と今後の展望
- A$AP Rockyは2023年の「Shittin’ Me」MVでも NeRFやInstant-NGPのGUI を導入
- 今回の「Helicopter」は メジャーな音楽リリースで最大規模のダイナミックガウススプラッティング実装
- 今後は シミュレーション的な映像制作ワークフロー が主流になる可能性