世界を動かす技術を、日本語で。

AV1@Scale: フィルムグレイン合成、目覚め

概要

  • Netflixは AV1 Film Grain Synthesis (FGS) を大規模導入し、映像の芸術性とデータ効率を両立
  • FGSは フィルムグレインの再現 によって圧縮効率を向上し、画質も維持
  • ビットレート削減 や再生体験の安定化など、多数のユーザーメリットを実現
  • 視覚品質評価やA/Bテストで 質的・量的な改善 を確認
  • 今後もNetflixは 映像配信技術の革新 を継続予定

AV1スケールでのFilm Grain Synthesis:Netflixによる大規模展開と映像体験の向上

  • フィルムグレイン は、クラシック映画のリアリズムや深みを演出する重要なノイズ成分
  • ランダム性が高く、 従来の圧縮技術では扱いが難しい ため、画質とファイルサイズのトレードオフが発生
  • デジタル時代でも、 カメラのセンサーノイズや意図的なグレイン付加 が映像体験を豊かに
  • Netflixは AV1 FGS をグローバルで本格展開し、芸術性と配信効率を両立

AV1におけるFilm Grain Synthesisの仕組み

  • FGSは パターンモデル強度制御 の2要素で構成
    • パターンモデル: 自己回帰(AR)モデル でグレインの空間的相関を再現し、64x64ノイズテンプレートを生成
      • AR係数{ai}を調整することで、グレインの粗さや細かさをコントロール
      • 再生時には、32x32パッチをテンプレートから抽出し動画に合成
    • 強度制御: スケーリング関数 で明るさや色ごとにグレインの強さを調整
      • ピクセル値とノイズ強度の関係を 区分線形関数 でモデル化
      • 映像の明部・暗部に応じてグレイン強度を最適化
  • エンコード時に グレインを除去して圧縮 し、パターン・強度情報をメタデータとして付加
  • 再生時に デバイス上でグレイン合成、高品質かつスムーズな再生を実現

映像品質向上・ビットレート削減・ユーザーメリット

  • FGSの活用で ビットレートを大幅削減 しつつ、フィルムグレインの芸術性を保持
    • 例:通常のAV1エンコード8274kbps→FGS有効時2804kbps(約66%削減)
    • FGS適用で 圧縮ノイズのマスキング効果 も発揮し、アーティファクトを軽減
  • 品質評価では PSNRやVMAFなどピクセル比較指標が課題 となるが、主観的評価で改善を確認
  • 1080p以上の解像度で 平均36%のビットレート削減、1080p未満は10%程度の削減
  • FGS導入により ビットストリームに若干のシンタックスオーバーヘッド が発生
A/Bテストによるストリーミング体験の改善
  • 初期・平均ビットレート がそれぞれ24%、31.6%低減
  • 再生エラー率3%減少、リバッファ回数10%減少、リバッファ時間5%短縮
  • 再生開始遅延10%短縮 で、ユーザー体験の向上
  • 高解像度(2160p)視聴比率0.7%増加 で、4Kデバイスでの恩恵拡大
  • ビットレート低下・リバッファ減少 による再生安定性向上

舞台裏:NetflixのFilm Grain挑戦

  • 2021年のAV1初導入から FGSの本格展開までの歩み
  • 2024年3月から FGSを順次拡大展開、対応デバイスで利用可能
  • The Hot Spot、Kung Fu Cult Master、Initial D、God of Gamblers II、Baahubali 2: The Conclusion、Dept. Q などでFGS体験を推奨
  • 次回は ビデオエンコーディングパイプライン の詳細をNetflix Tech Blogで公開予定

感謝と協力チーム

  • Open Connectチーム (Video Algorithms, Media Encoding Pipeline, Media Foundations, Infrastructure Capacity Planning, Open Connect Control Plane)
  • Client & Partner Technologies, Streaming & Discovery Experiences, Media Compute & Storage Infrastructure, Data Science & Engineering, Global Production Technology など多部門連携
  • デバイス認証やデータ分析、A/Bテスト、運用支援 など、各分野の専門家が貢献
  • プロダクト化最大の課題はデバイス互換性 の確保

Netflixは今後も 映像配信技術の最前線 で、より豊かな視聴体験を追求していく方針

Hackerたちの意見

この粒子は、映画の制作中にできた小さな粒から成り立っていて、単なる視覚効果以上のものなんだ。物語の深みを増したり、リアリズムに貢献したりする重要な役割を果たしてる。正直、「粒子=リアリズム」ってのは理解できなかったけど、粒子がアートのツールとしての役割を果たすのは分かるから、これはこれでクールな技術だね。

俺の目には、少なくともすごく暗い時には粒子が見えるよ。

粒子があることで、映画が実際よりも詳細に見えるって感じかな。圧縮アーティファクトやぼやけを隠すこともできるし。心理視覚的な理由は分からないけど、圧縮によって消えがちな高周波を加えてるのかもしれないし、何かのディザリングみたいに働いてるのかも。君の目については、粒子があると思うよ。量子物理学の仕組みだから、ただ脳がそれをフィルタリングしてるだけで、気づいてないだけなんだ。でも、フィルムの粒子との関係はよく分からないけどね。

人はいつも美的な好みを合理化しようとするよね。物事の理解の深さやニュアンスが、その物事のバリエーションの見え方を変えるんだ。ギターのトーンウッド、音楽のスタイル、ペイントの種類、ビールの味、映画の粒子など、何でもそう。あるテーマについて詳しいと、その歴史を知ることができて、それがその物事に対する感じ方を変えるんだ。バスター・キートンのスキットを見て、驚いたり笑ったり楽しんだ子供と、どんな映画やカメラが使われたか、さまざまな抽象がシーンに何を意味するかを知っている映画評論家では、メディアの主観的な美的体験が全然違うんだ。主観的な美的好みは認知の領域にあって、我々は人間の脳にマッピングされた知性の正式な理論が必要だと思う。こうした主観的現象は、個別のデータ処理や初期条件に集約されるんだ。フィルムの粒子とクリーンなセルアニメーションの対比には、観客が信じられない気持ちを持続させやすくする何かがあるかもしれない。粒子がないことは、非現実的なアニメーションや特定のメディア、CGIと関連付けられていると条件付けられているからね。家庭用ビデオやニュースなどは粒子があって低品質だったから、粒子は「リアル」と関連付けられる。俺の見解では、それ以上の深い意味はないと思う。俺たちは時代の産物なんだ。40年後にはメディアが変わっていて、フィルムの粒子がシュールレアリズムと関連付けられるか、完全に排除されるかもしれない。根本的にはノイズだからね。

これ、現代の窓が偽の窓枠を持ってることを思い出させるね。実際には小さな窓がいくつかあるように見せるために貼り付けられたストリップなんだ。人々はそれに慣れていて「正しい」と感じるから。昔のガラス職人たちは、今のように均一で大きなガラスシートを作れる能力に夢中になってたと思うけど、今は彼らが妥協しなければならなかったものを模倣してるんだよね。

私の視界は視覚的な雪のせいでグレインっぽい。だからゲームではフィルムグレインをオフにするんだ、視界に重なって視覚的に混乱しちゃうから。

記事では、グレインのマスキング効果について触れていて、偽っぽい圧縮アーティファクトを隠すし、懐かしさや親しみの要素もあるって言ってる。でも、もう一つの説明を加えたいな。周りを見てみて:ほとんどの表面には何らかの細かいテクスチャーがあって、視覚的に均一じゃないよね。これが動画として記録されると、カメラの光学系や解像度の制限、圧縮によるスムージングのせいで、細かいテクスチャーが減っちゃう。フィルムグレインは、失われた高周波の視覚刺激を補ってくれるんだ。私たちの目や脳はその高周波の刺激が好きで、元のシーンの正確なノイズパターンが再現されるかどうかにはこだわらない。だから、x265のビデオエンコーダー(グレイン合成がないH.265動画を生成する)は、圧縮された動画を「元の動画と同じくらいエネルギーを保つように」と言っているpsy-rdパラメータがあって、さらに「一般的に高いエネルギーを好む」と言っているpsy-rdoqパラメータもあるんだ。これらのパラメータを調整することで、データを増やさずに圧縮動画をより良く見せることができるんだよ。

グレイン=リアリズムだよ。なぜなら、実際にキャプチャされたグレインは完全にランダムなノイズじゃないから。これは本物のノイズデータなんだ。キャプチャされたシーンの一部で、シーンに微妙でリアルなディテールを加えてくれる。もし私が間違っているなら教えてほしいけど、リアルなグレインも完全にランダムなノイズだとは思えない。

デジタルカメラが使われ始めた頃は、デジタル動画がリアルに見えないって感じる人が多かったから、結構大きな問題だったんだよね。フィルムで撮った映画は一般的に見た目が良くて、粒子感もあったし。今でもその印象を持ってる人が多いかも。シネフィルは、粒子感のある古い映画(つまり、ちゃんと撮られた美しい作品)を好んで見るから、そういうのがクラシックとして愛されてるんだよね。悪いフィルム映画は見ないし、デジタルで撮った今の映画の質の幅広さに触れてるから、粒子感=良いって思っちゃうかもしれない。実際はそうじゃないのにね。とにかく、シャープさを下げるためのいいツールにはなるかも!

自己矛盾してるね。フィルムの粒子感が映像を「映画っぽく」見せるのは、昔の映画がそうだったからだよ。

私の目には粒子がないんだ。でも、夜になると暗いところでは確かに粒子が見える。微かな光の中で「キラキラ」したり「静電気」のようなものが出てくるんだ。幸いなことに、私たちの目はカメラよりもずっと感度がいい。でも、「リアリズム」はその時代の技術でどうやってキャッチされたかから来てる。これは、蓄音機のヒス音やCRT信号のぼやけ方と同じことだよ。映画監督が使った技術に対して「リアル」であることが大事なんだ。彼らが自分の映画がどう見られるかを知っていたようにね。これは、ゴッホの筆使いが彼の絵にとってリアルだったのと同じ。彼の油絵を平らに削るなんてしたくないでしょ。それが元のメディアの現実なんだ。だから、デジタルプリントがあっても、元の現実をできるだけ保ちたいんだ。

ノイズを加えることのメリットについては哲学的な疑問があるけど、ここでの例はデノイジングプロセスが全体を過度にぼかしてしまってるのが問題だね。だから、合成された粒子画像も元のものより明らかにシャープさが欠けてる。粒子自体も基本的なノイズにしか見えなくて、本当の粒子っぽくないんだよね。

Hacker Newsで議論の続きを見る