概要
- Googleは Gemini Diffusion を発表し、従来の トランスフォーマー に代わる新手法を導入。
- 拡散モデル を言語生成に応用し、高速かつ高品質な出力を実現。
- Gemini Diffusionは エラー訂正 や編集タスクに優れる。
- 実際の利用で 857トークン/秒 の応答速度を記録。
- Gemini 2.0 Flash-Liteの 5倍の速度 を公式に謳う。
Gemini Diffusionとは何か
- Google I/Oで発表された Gemini Diffusion は、Google初の 拡散モデルベースLLM であることを確認。
- 従来の 自己回帰型言語モデル （autoregressive）は、一度に1単語（トークン）ずつ生成するため、 処理が遅く なりやすいことを指摘。
- 拡散モデルは ノイズから段階的に出力を洗練 することで、直接テキストを予測するのではなく、 高速な反復生成とエラー訂正 を可能にしていることを強調。
- この手法により、 編集作業 や 数式・コード生成 などで優れたパフォーマンスを発揮することを提案。
Gemini Diffusionの特徴と体験
- 最大の特徴は 生成速度の速さ であることを強調。
- 実際に「Build a simulated chat app」とプロンプトしたところ、 857トークン/秒 の速度でHTML+JavaScriptページを生成することを確認。
- 結果は 数秒以内 に返され、Claude Artifactsのような インタラクティブな出力 を実現していることを報告。
- Cerebras Coder （Llama3.1-70bを2,000トークン/秒で実行）に近い体感速度であることを比較。
- Google公式ページでは「 Gemini 2.0 Flash-Liteの5倍の速度」と記載されており、 低コストモデル と同等以上の性能を実現していることを示唆。
拡散モデルとトランスフォーマーの関係
- 一部で「トランスフォーマーの代替」と誤解されたが、 正確には自己回帰の代替 であることを訂正。
- Mercuryなど従来の 拡散LLM もトランスフォーマーを内部で利用しているが、 因果マスキング（causal masking） を行わず、 入力全体を一度に処理 することが特徴であることを確認。
- Gemini Diffusionも トランスフォーマー構造 を採用している可能性が高いと推測すること。
今後の展望と課題
- 現時点で 独立したベンチマーク は未発表であり、今後の評価が期待されることを指摘。
- 商用グレードの拡散モデルはこれまで Inception Mercury 程度しか存在せず、Gemini Diffusionが 先駆的存在 であることを強調。
- 編集・生成速度の向上 による新たな応用分野の拡大を期待すること。
まとめ
- Gemini Diffusionは 拡散モデルの高速性とトランスフォーマーの強み を融合した次世代LLMであることを再確認。
- 今後の 第三者評価 や 実運用事例 の登場が重要であることを提案。