俺の目には、少なくともすごく暗い時には粒子が見えるよ。

粒子があることで、映画が実際よりも詳細に見えるって感じかな。圧縮アーティファクトやぼやけを隠すこともできるし。心理視覚的な理由は分からないけど、圧縮によって消えがちな高周波を加えてるのかもしれないし、何かのディザリングみたいに働いてるのかも。君の目については、粒子があると思うよ。量子物理学の仕組みだから、ただ脳がそれをフィルタリングしてるだけで、気づいてないだけなんだ。でも、フィルムの粒子との関係はよく分からないけどね。

人はいつも美的な好みを合理化しようとするよね。物事の理解の深さやニュアンスが、その物事のバリエーションの見え方を変えるんだ。ギターのトーンウッド、音楽のスタイル、ペイントの種類、ビールの味、映画の粒子など、何でもそう。あるテーマについて詳しいと、その歴史を知ることができて、それがその物事に対する感じ方を変えるんだ。バスター・キートンのスキットを見て、驚いたり笑ったり楽しんだ子供と、どんな映画やカメラが使われたか、さまざまな抽象がシーンに何を意味するかを知っている映画評論家では、メディアの主観的な美的体験が全然違うんだ。主観的な美的好みは認知の領域にあって、我々は人間の脳にマッピングされた知性の正式な理論が必要だと思う。こうした主観的現象は、個別のデータ処理や初期条件に集約されるんだ。フィルムの粒子とクリーンなセルアニメーションの対比には、観客が信じられない気持ちを持続させやすくする何かがあるかもしれない。粒子がないことは、非現実的なアニメーションや特定のメディア、CGIと関連付けられていると条件付けられているからね。家庭用ビデオやニュースなどは粒子があって低品質だったから、粒子は「リアル」と関連付けられる。俺の見解では、それ以上の深い意味はないと思う。俺たちは時代の産物なんだ。40年後にはメディアが変わっていて、フィルムの粒子がシュールレアリズムと関連付けられるか、完全に排除されるかもしれない。根本的にはノイズだからね。

これ、現代の窓が偽の窓枠を持ってることを思い出させるね。実際には小さな窓がいくつかあるように見せるために貼り付けられたストリップなんだ。人々はそれに慣れていて「正しい」と感じるから。昔のガラス職人たちは、今のように均一で大きなガラスシートを作れる能力に夢中になってたと思うけど、今は彼らが妥協しなければならなかったものを模倣してるんだよね。

私の視界は視覚的な雪のせいでグレインっぽい。だからゲームではフィルムグレインをオフにするんだ、視界に重なって視覚的に混乱しちゃうから。

記事では、グレインのマスキング効果について触れていて、偽っぽい圧縮アーティファクトを隠すし、懐かしさや親しみの要素もあるって言ってる。でも、もう一つの説明を加えたいな。周りを見てみて：ほとんどの表面には何らかの細かいテクスチャーがあって、視覚的に均一じゃないよね。これが動画として記録されると、カメラの光学系や解像度の制限、圧縮によるスムージングのせいで、細かいテクスチャーが減っちゃう。フィルムグレインは、失われた高周波の視覚刺激を補ってくれるんだ。私たちの目や脳はその高周波の刺激が好きで、元のシーンの正確なノイズパターンが再現されるかどうかにはこだわらない。だから、x265のビデオエンコーダー（グレイン合成がないH.265動画を生成する）は、圧縮された動画を「元の動画と同じくらいエネルギーを保つように」と言っているpsy-rdパラメータがあって、さらに「一般的に高いエネルギーを好む」と言っているpsy-rdoqパラメータもあるんだ。これらのパラメータを調整することで、データを増やさずに圧縮動画をより良く見せることができるんだよ。

グレイン＝リアリズムだよ。なぜなら、実際にキャプチャされたグレインは完全にランダムなノイズじゃないから。これは本物のノイズデータなんだ。キャプチャされたシーンの一部で、シーンに微妙でリアルなディテールを加えてくれる。もし私が間違っているなら教えてほしいけど、リアルなグレインも完全にランダムなノイズだとは思えない。

デジタルカメラが使われ始めた頃は、デジタル動画がリアルに見えないって感じる人が多かったから、結構大きな問題だったんだよね。フィルムで撮った映画は一般的に見た目が良くて、粒子感もあったし。今でもその印象を持ってる人が多いかも。シネフィルは、粒子感のある古い映画（つまり、ちゃんと撮られた美しい作品）を好んで見るから、そういうのがクラシックとして愛されてるんだよね。悪いフィルム映画は見ないし、デジタルで撮った今の映画の質の幅広さに触れてるから、粒子感＝良いって思っちゃうかもしれない。実際はそうじゃないのにね。とにかく、シャープさを下げるためのいいツールにはなるかも！

自己矛盾してるね。フィルムの粒子感が映像を「映画っぽく」見せるのは、昔の映画がそうだったからだよ。

私の目には粒子がないんだ。でも、夜になると暗いところでは確かに粒子が見える。微かな光の中で「キラキラ」したり「静電気」のようなものが出てくるんだ。幸いなことに、私たちの目はカメラよりもずっと感度がいい。でも、「リアリズム」はその時代の技術でどうやってキャッチされたかから来てる。これは、蓄音機のヒス音やCRT信号のぼやけ方と同じことだよ。映画監督が使った技術に対して「リアル」であることが大事なんだ。彼らが自分の映画がどう見られるかを知っていたようにね。これは、ゴッホの筆使いが彼の絵にとってリアルだったのと同じ。彼の油絵を平らに削るなんてしたくないでしょ。それが元のメディアの現実なんだ。だから、デジタルプリントがあっても、元の現実をできるだけ保ちたいんだ。

映画の編集者は昔からポストプロダクションでいろんなトリックを使ってきたよね。フィルムシミュレーションありとなしで見るオプションがあったらいいな。俺の好きな映画の一つ、『ホールドオーバーズ』はフィルムシミュレーションがすごく上手くできてた。70年代が舞台だから、その時代の映画みたいに見せようとしてるんだ。俺にはすごく良く見えたけど、映画オタクなら正確じゃない点がいろいろ気になるだろうね。近い将来、Netflixがクライアント側でポストエフェクトを処理できるようになるかもしれない。色盲の人にはそのためのモードがあったり、偽の粒子をオフにできたりする機能があればいいな。

最近、最終製品でノイズやグレインを見かけると、それはおそらくポストプロダクションで追加されたものだよね。理想的には、スタジオは配信業者にノイズのないソースとグレイン合成パラメータを提供するべきだと思う。ボーナスとして、多くの視聴者はそれをオフにするオプションを歓迎するだろうね。

それと合成されたグレイン画像は、ソースよりも明らかにシャープさが欠けている。 確かにそうだけど、特定のビットレートで（非常に高いビットレートに達するまでは）、圧縮されたオリジナルは通常、オリジナルのグレインをエンコードするのに多くのビットを使うから、見た目が悪くてシャープさが失われるんだ。結果として、そのオリジナルのグレインは広い範囲に「ぼかされて」しまって、マディに見える。実際のシーンのシャープさが失われるのは、シャープなグレインをエンコードしようとして（そしてしばしば失敗して）いるから。フィルムグレイン合成は帯域幅が限られているストリーミングには理にかなっているけど、例を見れば合成されたグレインはあまりグレインらしく見えないのには同意するよ。そして、デノイジングの量や方法によっては、シーンのディテールが確実にぼやけることもある。

これを探求した映画はアントニオーニの『ブロウアップ』だよ： https://ja.wikipedia.org/wiki/ブロウアップ

それに、グレインのことを言うのは控えめすぎる。RGBノイズ効果が追加されたように見えるだけだ。フィルムグレインはRGBノイズには見えない。私にとって、フィルムグレインはフィルムのフィルムらしさを与える要素の一部に過ぎない。ハイライトがクリップするのではなく、ぼんやりと広がる感じ。それに、現代のデジタル取得の超シャープさとは違って、もっと自然でオーガニックな感じがあった。SoftFXやBlack Mistタイプのフィルターを使うのもいいけど、デジタルとアナログの取得の違いがあるから、同じにはならないんだ。こういう見た目を作ろうとする試みは、同じように失敗し続けてる。でも、今回はクールなテックブログがあるみたいだね。フィルムグレインフィルターはずっと前からあったけど、みんなあまり気にしてない。Blu-rayの時代でも、エンコードでグレインを取り除いて再生時に適用する試みがあったけど、Netflixは新しいことを考えてるわけじゃないし、結果から見ると特にワクワクするようなこともないみたい。

同意だな。映画フィルムの近くでの見え方を研究しすぎた人間としては、これってあんまりリアルに見えないよね。結局、ただのディザリングに過ぎない。

AV1は調整可能なFGSレベルがあって、個人的にはちょっと高めに設定されてる気がする（ただし、トレードオフがあるからね；あるビットレートでは、ぼやけ+再ノイズ化が他の視覚的アーティファクトよりもずっと良くなるから、そのくらいの高さが必要になることもある）。いくつかのポイントを挙げると、- 静止画は動画品質を評価するにはイマイチな方法だよ。- 理論的に完璧なノイズ除去フィルターは、元のソースよりも常に詳細が少なく見える。なぜなら、脳や目はノイズのある画像に対してはより多くの詳細を想像するから。つまり、100%の非粒子詳細を保持するフィルターのことを言ってるんだ。ノイズによって失われた詳細を魔法のように回復するフィルターじゃないよ。

レトロゲーム好きの人たちにやらせてみて！すぐに現実と見分けがつかないフィルムグレインシェーダーを作ってくれるはず。

それはただの視覚的ノイズで、本物のシーンのディテールを隠してしまう。 現代のビデオ圧縮技術よりも多くのものを追加しているのかな？ 映画におけるノイズとは、ある意味主観的なものだよね。

でも現実にはグレインなんてないから、逆のことになる。 まあ、実際には照明は本質的にランダムだから、シーンの時間制限付きキャプチャ（目がすることを含めて）はショットノイズの影響を受けるんだよね： https://ja.wikipedia.org/wiki/ショットノイズ

ドキュメンタリーは現実を正確に表現することを気にするかもしれないけど、他の映画ジャンルでは「本物らしさ」は必ずしも目標じゃないよね。もしフィルムグレインが監督のビジョンの一部なら、それはシーンの背景でドラマチックな非対話的音楽を流す選択と同じくらい有効な選択なんだ。これって本物らしくないけど、感情を引き出すのにはすごく効果的だから、アートの目的でもあるしね。

でも現実には粒子はないから、逆のことをしてるね。著者はフィルム粒子のメリットをうまく伝えられなかったと思う。彼が何を意味していたのかは分からないけど、たとえそれがただの錯覚でも、画像のシャープさやディテールの認識を高めることは確かだよ。撮影監督のスティーブ・イェドリンは、視聴者の目に「掴む」ものを与えると言ってる。

それに気づいているのは、99.9%の動画コンテンツを消費している人たちにはいないからね。視聴者の視点からすると、ビットレートのコストなんてどうでもいい、単なる重要じゃない実装の細かい部分なんだよ。

心配しすぎだよ、全部フェイクだから。君が「映像」だと思っているものは、いろんなソースからの多層が合成されているんだ。フェイクの光、フェイクの影、フェイクの空、…

私の問題は、グレインがコンテンツのクリエイターのクリエイティブな決定に基づいて良いということ。1と0を圧縮しているオタクたちが決めることじゃないと思うんだ。

具体例として、HBOのアニメーションを挙げるね。昔のアナログ時代の静止画を使ってるんだけど、4Kでも見た目がひどい。ランダムノイズは、ここで説明されている正確な戦略なしには圧縮できないから。

これ、すごく面白い話に繋がった！ありがとう！

粒子はフレームごとに独立してる。シーンの物体と一緒に動くわけじゃない（動画が変にエンコードされてない限り）。合成されたノイズに明らかな時間的パターンがなければ、静止画を比較するのは問題ないはず。美的観点から言うと、AV1の合成粒子は元の動画の粒子のサイズを考慮してないと思う。だから、古いフィルムソースの大きな銀ハロゲン結晶からの粗い粒子が、合成では細かい粒子として現れるのはおかしい（これは良いフィルムノイズ除去器で軽減できるかも）。それに、フィルムの色成分を正しくモデル化してないけど、Netflixの動画ソースはしばしばクロマサブサンプリングされてるから、あんまり関係ないらしい。https://norkin.org/pdf/DCC_2018_AV1_film_grain.pdf ただ、私はこれについてカジュアルに読んだだけだから、間違ってるかもしれない。

ノイズには信号が含まれてないし、信号の上で踊るわけでもない。単なるランダムな変動が信号に加えられてるだけだ。静止フレームをいくつか平均すると、変わらない信号を保ちながらランダムなノイズが打ち消し合うから、SNRが改善される。ノイズをそのまま保つのは役に立たないと思う。あなたが見ている効果は、元の粒子の挙動に対する美的な好みか、低帯域幅のコンテンツと圧縮アーティファクト（スムージングやローパスフィルタリング）を比較しているからかもしれない（細かいディテールを保存しないことでかなりの帯域幅を節約できる）高帯域幅のバージョンと全く関係ない粒子が重なってるだけかもしれない。

まずAIや圧縮センシングでアップスケールして、複数のフレームを使ってそれを基にした動画を送ってから、再度粒子を加えるっていうのもありかもね。

これは本当にいい指摘だね。時間的な側面を考えると、伝統的なフィルムプロジェクターを思い浮かべてみて。フレームとフレームの間には、実際に短い間、完全な暗闇があるんだ。その暗闇を「ノイズ」と呼ぶこともできるけど、その瞬間に留まると元の信号は何も見えなくなる。でも、私たちの視覚システムはある程度、時間的に平均化するから、そのちらつきにはほとんど気づかないんだよね（https://en.wikipedia.org/wiki/Flicker_fusion_threshold）。ノイズや粒子も似たように認識されていて、信号や画像の安定した部分と比べると目立たなくなると思う。天体写真家はノイズのある画像を重ねて、より高いSNRの画像を得るんだ。私たちの脳もそれに近いことをしていると思うけど、それは存在しない詳細を幻覚しているわけじゃない。記録されたノイズは時間が経つにつれて平均に戻るし、その平均が実際の信号のより明確な表現を示すんだ（ただし、系統的なノイズやランダムでないノイズのせいで完全ではないけど、そこまで重要じゃないことが多い）。個々のフレームで動作するデノイジングアルゴリズムにはその文脈がないから、詳細を失ったり、推測で補おうとしたりするんだ。AV1は特定のアルゴリズムを指定していないから、理論的には賢いアルゴリズムが時間的な文脈を使って追加の詳細を保つことができるかもしれないね。

フェイクフィルム粒子ならいいけど、すべてのフィルム粒子が消えるべきだって言うのは、油絵の筆使いが消えるべきだって言ってるようなもんだよ。

でも、なんでフィルムグレインは消える必要があるの？