概要
- RenderFormer は三角形メッシュから直接画像を生成するニューラルレンダリングパイプライン
- グローバルイルミネーション 効果を持ち、各シーンごとの学習やファインチューニングが不要
- Transformerアーキテクチャ をベースにした2段階構成
- ラスタライズやレイトレーシング を使わずにレンダリングを実現
- 多様なシーンや物理シミュレーションにも対応
RenderFormer: Transformerベースのニューラルレンダリング
- RenderFormer は三角形ベースのシーン表現から直接画像を生成するニューラルレンダリングパイプライン
- 物理ベースの手法 ではなく、シーケンス変換問題としてレンダリングを再定義
- 三角形とその反射特性を表すトークン列を、ピクセルパッチを表す出力トークン列へ変換
- シーンごとの追加学習やファインチューニングが不要 な点が特徴
シンプルなTransformerアーキテクチャ
- 2段階パイプライン構成
- ビュー非依存ステージ ：三角形間の光輸送をモデル化
- ビュー依存ステージ ：レイ束を表すトークンをピクセル値へ変換
- 両ステージとも Transformerアーキテクチャ を採用
- 事前知識や制約を最小限 に抑えた学習設計
- ラスタライズ処理やレイトレーシングを一切使用しない レンダリング方式
レンダリングギャラリー
- RenderFormerによる多様なシーンのレンダリング事例
- 照明条件・マテリアル・幾何学的複雑性 の異なるシーンへの対応
- 追加学習・ファインチューニング不要 で高品質画像生成
- 代表的なレンダリング例
- Cornell Box
- Stanford Bunny in Cornell Box
- Lucy Statue
- Utah Teapot
- Composed Scene
- Constant Width Bodies
- Crystals
- Fox in the Wild
- Horse and Heart
- Interior Room
- Shader Ball
- Tree
- Veach MIS
動画・アニメーションデモ
- オブジェクト回転・照明変化・マテリアル調整 などのダイナミックなデモ動画
- 代表的なシーン
- Cornell Box Roughness Adjustment
- Bunny Roughness Adjustment
- Tree Light Change
- Tree Object Rotation
- Fancy Scene Rotation
- Composed Scene View Change
- アニメーションレンダリング の例
- Cascade Cube Animation
- Animated Crab
- Gyroscope Motion
- Animated Character
- Marching Cubes Animation
- Robot Animation
物理ベースシミュレーション対応
- 複雑な動的シーンや物理シミュレーション も高品質にレンダリング可能
- 代表的な物理シミュレーション例
- Bowling Ball Physics Simulation
- Rotating Box Dynamics
- Constant Width Body Simulation
論文情報
- タイトル: RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination
- 著者: Chong Zeng, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong
- 学会: ACM SIGGRAPH 2025 Conference Papers
- 発表年: 2025
参考文献（BibTeX）
@inproceedings {zeng2025renderformer,
title = {RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination},
author = {Chong Zeng and Yue Dong and Pieter Peers and Hongzhi Wu and Xin Tong},
booktitle = {ACM SIGGRAPH 2025 Conference Papers},
year = {2025}
}