推論中、16から4096トークンのシーケンスを生成することは、ARベースラインと比較して16倍から4700倍のFLOPsの増加を引き起こします。FLOPsの増加がこんなに幅広い理由が気になりますね。素直に考えれば、トークンの数に応じてFLOPsが線形に増加すると思ってました。でも、逆に言えば、拡散モデルは自己回帰的じゃないから、名前の通りって感じで納得もいきます。

これは面白いけど、いくつかの主張はもっと情報がないと成り立たない気がします。「ダウンストリームタスク」や「分布内/外」といった用語は、文献でいろんな意味で使われることが多くて、文脈から何を指しているのか分かりにくいです。読者としては、トレーニングデータが何か分からないと、何が分布内かも分からないですから。だから、ダウンストリームタスクが何かも分からない。特に、これが気になりますね。> この現象は、ドメイン内とドメイン外のトレーニングデータの両方に持続します。トレーニングデータが「ドメイン外」であるとはどういうことですか？ドメインはあなたの関数への有効な入力のことです。これは分布を指しているのでしょうか？それでも少し混乱しますね。なぜなら、トレーニングデータとバリデーションデータの両方が分布内にあるように聞こえるからです。> バリデーションロスはARとDLMの良い指標ですか？学術的な場面で、誰かが本気で「はい」と思っているのでしょうか？もし本当に人々がロスを異なるアーキテクチャを比較する強い指標として使えると信じているなら、私は非常に懸念します。これらのロスは、私たちが測りたいものを測っているわけではなく、それらの代理です。アーキテクチャ自体がそのロスの景観を形成する大きな部分です。もし指標が代理でなければ、この比較は良いものになるでしょうが、代理である限り、何が発散しているのかを知らない限り信頼できません。これらはすべて良いことですが、分野として進むためには、私たちが知らないことを忘れないようにする必要があります。全体的に、「スーパー・データ・ラーナー」が何を意味するのか、まだよく分かりません。これはパラメータごとの情報で数えられているのでしょうか？因果的な注意と拡散の自由形式の注意についての良い議論があると思いますが、ここでの結論にはいくつかの過剰な部分もあると思います。下三角行列はフルランクであり、ここには高い表現力がありますが、自由形式の方がもっとあるのは正しいです（トランスフォーマーのFFN層での置換や解きほぐしを含めても）。この部分をもっと強調して、説明にもっと時間をかければ、もっと強い主張ができると思います。でも、これが拡散とトランスフォーマーの違いなのか、三角注意とフルランク注意の違いなのかを判断するためには、追加の分析が必要だと思います。数学的な観点からは、2つ目の質問はもっと簡単に答えられますが、これらをトレーニングする大きな問題があるからです。自由形式の行列をトレーニングする問題は、それらが…まあ…自由形式だからです。正規化フローの文献には、表現力とトレーニング/計算効率の類似の問題を扱った良い議論があります。この研究は、異なるアーキテクチャの表現力についての大きな議論を開く可能性があります。これは、私の意見では、最近話し合うべき非常に重要なトピックです。まあ、私は神経アーキテクチャに関わっているので、偏見がありますけどね。ちょっと楽しみで ;)

これが拡散モデルが自己回帰モデルよりも記憶容量が少ないせいだとしたら、どれくらいの影響があるんだろう。自己回帰モデルは、同じ数のトレーニングトークンで常により良いロスを示しています。結論には共感する部分が多いけど、1Bモデルで10Bデータセットを使ったトレーニングのエポック数がもっと見たかったです。あのモデルはエポックごとに改善を示していたので。

結果はおそらく、ARベースラインがダメだということを示しているだけでしょう。

もし、因果注意を繰り返すだけで双方向の注意をモデル化できるって言ったらどう思う？しかも、それでも十分速いんだ。ヒント：それは「思考の連鎖」って呼ばれてる。俺は、反復自己回帰がもっと速くて並列処理もしやすいし、適切なプロンプト技術を使えば同じくらい効果的だから、拡散モデルはそろそろやめるべきだと思ってる。（もちろん、CoTを拡散の一形態と見なすなら話は別だけど、実際そうなんだよね。）