私はやってるよ。普通の言語モデルとは全然違う直感が必要だね。特定の問題にはすごく向いてる。

https://www.inceptionlabs.ai/ このスタートアップは結構前からやってるみたい。調べてみた感じ、スピードはすごいけど、最初のトークンまでのユーザー体験や全体の回答の質には課題が残ってるね。スピードと精度が「十分良い」レベルに達すれば、安価なモデルやユーザーが直接関わらない非同期作業にも使えると思う。もう一つ気になってるのは、大量のテキストを出力として拡散させることができるのかってこと。もっと大きなボディを使って、機械的に高度な推論を促すことができるかも。大きなラボではすごく興味深い研究が進んでると思うよ。

現在、ローカルLLM空間での投機的デコーディングのために探求されてるみたいで、これは使い方として結構面白いと思う。 https://www.emergentmind.com/topics/dflash-block-diffusion-f...

ディフュージョン言語モデル（WeDLM）のSwift実装をいじってるけど、パフォーマンスはまだ満足できるレベルじゃないし、左から右に生成する感じはまだ残ってる（厳密にトークンごとじゃなくてスライディングウィンドウ内で…でもスライディングウィンドウが16トークンくらいの時はあんまり関係ないけどね）。

レイテンシと価格の面で、Mercury 2は自動ノートタグ付けや相互リンクに特化したUX実験に非常に魅力的だよ。前に使ってたGemini Flash Liteよりもずっと、いくつかのインタラクションがほぼ摩擦なしで、昔のオートコンプリートやT9、オートコレクトのように、ユーザーがその背後にあるプロセスを考えないくらい自然だった。残念ながら、ツール呼び出しのレベルではHaiku 3.5には及ばないけど、彼らのベンチマークではHaiku 4.5と同等だって言ってるし、Flash Liteとは競争してる部分もあるね。非常に特化した出力があって、十分な既存の入力があれば、シームレスな感覚が得られるものはdLLMsに向いてると思う。タブ補完にも使えるかもだけど、Cursorsモデルはすでに十分低レイテンシみたいだね。

ベースモデルで生成せずに、ベースモデルの出力と比較するってどういうこと？それなら意味あるの？

君の興奮は正当だと思うよ。この論文はARの品質と並列デコーディングの間に大きな橋を架けるって主張してるし、ロスレスのLoRA支援モードが一番すごい部分だね。

うーん、これにはディフュージョンの要素なんてないよ。デノイジングとも関係ないし。この設定はまだ純粋に因果的で、正直言ってちょっと不誠実なフレーミングだと思う。ここでの内省はMTP + SDのセットアップと同じくらいしかないよ。何が起こっているか説明するね。これは基本的にマルチトークン予測の一形態で、推論における投機的デコーディングなんだ。詳しくは前の投稿[1]を見てね。要するに、マルチトークン予測では、次のトークンやその次のトークンを予測するために別々のLMヘッドを訓練するんだ。複数のLMヘッドを訓練するのはコストがかかるし、必ずしも必要じゃないから、通常はすべてのkヘッドのために共通のベースを持つのが一般的なんだ。[1]でさらに詳しく説明してるよ。彼らは別のバリエーションをやってる。ここでやってるのは、5つのトークンからなるシーケンスpを考えて、PE([p1, p2, p3, p4, p5])を使うこと。PE(.)は各トークンに相対位置情報を追加するんだ。1. 拡張シーケンスPE([p1 MASK MASK MASK MASK])を作成する。それに対して、真のシーケンスp1..5を使ってトレーニングを行う。ここでは、例えばp1+pos=-2 MASK+pos=-1 MASK+pos=0を与えてp3を予測するように訓練されるんだ。2. 次に、通常通りPE([p1 p2 p3 p4 p5])で別々に訓練する。ステップ（1）はマルチトークン予測を教える。要するに、単一のLMヘッドは特別なMASKトークンの位置kに条件付けて、それを「暗黙の」k番目のLMヘッドに「ルーティング」することになる。ステップ（2）は通常のLLMとして次のトークンを予測することを教える。MASKトークンは関与しない。これで、マルチトークン予測器を訓練したことになる。推論中は、これを使って投機的デコーディングを行う。MASKトークンを使って一度に5つのトークンを生成するんだ。そして、そのシーケンスを再度LLMに通す。これには通常の投機的デコーディングと同じ利点がある。つまり、行列-行列の掛け算ができるから、行列-ベクトルよりもメモリ帯域効率がいいんだ。例えば、クエリが["what", "is", "2+2"]だとすると、プロンプトはPE([...query, MASK*5])になる。出力はoutput = LLM(prompt)で、例えば出力が["what", "is", "2+2", "it", "is", "4"]だとする。NNは位置エンコードされたMASKトークンに直面したとき、k番目の次のトークンを予測するように訓練されているから、5つを一度に得られるんだ。正確には、["what", "is", "2+2", MASK, MASK"]を与えられて"4"を予測するように学習する。明示的に"it"や"is"が必要ないから、"it"や"is"を生成するのと並行して行えるんだ。"is"は["what", "is", "2+2", MASK"]を与えられて予測されるし、これも明示的に"it"がそこにある必要はないから、"it"を生成するのと並行して行える。これはクエリに基づいて次のトークンを生成する普通のやり方だよ。そして、これを投機的デコーディングのセットアップでドラフトとして使うんだ。彼らの主張は、こうやってマルチトークン予測器をドラフトモデルとして使うとうまくいくってこと。明確に言うと、これはまだ因果的で、ディフュージョンモデルが注目されているのは、グローバルなリファインメントができるからなんだ。これはそうじゃない。前の投稿[1]でも説明したけど、MASKトークンの数を増やす、つまりkを増やす、つまりマルチトークン予測セットアップで一度に予測するトークンの数を増やすと、すぐに品質が悪くなるんだ。この論文もそれに同意してる。彼らはk=2,3,4,8を試して、8で品質が落ちるのを見たんだ。だから結局、これは自己投機的デコーディングを使った4トークン予測（LayerSkipなし）で、こうしたセットアップの既存の制限を取り除いている。MTPを訓練する面白い方法ではあるね。 [1] https://news.ycombinator.com/item?id=45221692 [2] 計算的には単一のフォワードパスなんだ。アテンションマスクを使うことで、ステップ1と2を1つの操作に融合できる。ただし、まだ2つの別々の損失値があるよ。

明らかに年のタイプミスだね。4月12日は2日前だし、HuggingFaceでちょっと調べたら、アップロードされたのは5日前だったよ。

まあ、最初の出力を使って、ARの「推論」モデルみたいにモデルに再度通すことができるよ。

このジョークについていけてないんだけど、誰か簡単に説明してくれない？

これは「3倍改善されたのはわかるけど、ボトルネックはメモリ帯域から計算に移ったの？それともメモリ帯域がまだ支配的なの？」ってことだよね。でも、なんで日本語でコメントしたの？最近は自動翻訳の選択肢がたくさんあるのに！

ブロック自己回帰生成は大きなスピードアップをもたらすよ。2つのトークンを同時に出力することで、1つのトークンを出力するよりも（2-ε）倍のスピードアップになるからね。ブロックサイズが大きくなるにつれて、ブロック生成か全て一度に生成するかはあまり重要じゃなくなるくらい速くなるよ。重要なのは、ブロックモード出力に移行することでの品質のトレードオフだね。ここでは、そのトレードオフを最小限に抑えたみたい。