これらのアーキテクチャを最大限に活用するには、基本的に「重み」から知識や能力をもっと移動させて、ハードウェアの能力に比例した形でシステムの補完的な部分に組み込むことが鍵だと思う。ここ数ヶ月で、小さなモデルがこのAIトランスコーディングのニッチを占めるようになって、爆発的に増えてる。私が期待しているのは、ツール適応の爆発が起こること。LLMがある程度固定されたツールや問題ケースと組み合わさることで、一般性を少し犠牲にして特化した役割を果たせるようになること。トランスコーディング関連のタスクは、一般的にデバイスのユーザーが実際にやっていることと同期しているから、ユーザーのハードウェアの能力ややりたいことに密接に関連してる。だから、今のところほとんどの人はこういうことを意識してないと思う。習慣的にそうなってるんじゃないかな。今や個人用コンピュータを「孤立したハードウェア」と考えるのが意味を持つようになったから。ローカルデバイスでのMoEに対して正しいアプローチを取れば（ローカルLLMが向かっている方向）、VRAMに重みを出し入れする高コストを、ユーザーがまだ価値を感じるような極端なバッチユースケースで相殺できるかもしれない。LoRaはこれにとってすごく役立つけど、時には数層の違い以上の専門知識や特化が必要なこともある。今、これを実験中なんだ。論文と同じ基本原則だけど、技術的な最適化よりも作業負荷の最適化に近い。あと、これは文字通り機械文化の始まりだから、なんかクールだよね。

これ、めっちゃすごいよね。家にあるのはRTX 3080の10GB VRAMだけだから、40Mや50Mパラメータ以上の大きなモデルのトレーニングには苦労してる。OOMエラーが出るし、最適化もいっぱいしなきゃいけない。私も同じGPUを使ってるけど、何かをトレーニングする気になるかどうかすら不安だよ。どんなトレーニングをそのGPUでやったのか教えてくれない？ :)

記事の主張は、もっと多くの計算能力とVRAMが必要だって前提になってるね。トリックで往復が少なくなるけど、完全にはなくならないし。50Mって言ったんじゃないよね？50Bのことかな？試してみるしかないけど、大きなコンテキストに期待しすぎない方がいいよ。もし彼らの技術がうまくいくなら、8096kのコンテキスト制限はまだOOMになると思う。2048ならいけるかも。これはこの論文のトリックを使わずに自分の実験から推測してるんだけどね。

モデルを何にトレーニングしてるのか聞いてもいい？そのためのトレーニングデータはどうやって生成してるの？

事前トレーニングのスケールには遅すぎる。でも「遅すぎる」っていうのは客観的な事実じゃないんだよね。どれだけの忍耐と電気代をかけられるか次第だし。AI画像生成の界隈では、モデルが画像を生成するのに5秒以上かかると文句を言う人がいる一方で、限られたハードウェアで30分待つのを喜んでる人もいる。だから「遅すぎる」って何を意味するのか判断するのは難しい。かなり主観的だよね。

モデルのコピーをRAMに複数のマシンに分散させて、各マシンがモデルの異なる部分の重みを更新して、ネットワーク越しに更新を同期させるってことだね。

341はあなたの1トークン/秒よりも2桁も速いから、彼らのやってることがそんなに明白じゃないように見えるね。341トークン/秒が遅いかどうかの基準もないけど、3090にしては速い感じがする。

方法を書いてくれない？読んでみたいんだけど。

「POCかGTFO」って言うけど、俺は光速旅行を発明したんだ。明らかだったけど、まだ論文は書いてないけどね :)

比較が128 H100の時なら、これはすごくいいアップグレードだね。それにH100やH200は時間単位でそんなに高くなく借りられるし。

RTX 3060で泣く