ハクソク

世界を動かす技術を、日本語で。

BERTは単一のテキスト拡散ステップに過ぎない

2025年10月20日原文(nathan.rs)

概要

  • Google DeepMind が提案した Gemini Diffusion は、従来のGPT型生成モデルとは異なる拡散型テキスト生成モデル
  • 拡散モデル の原理をテキスト生成に応用し、マスク率を変化させながら段階的にノイズ除去を実施
  • BERT や RoBERTa のようなマスク言語モデルも拡散的生成モデルへ転用可能
  • 実験的に RoBERTa を拡散的生成モデルとしてファインチューニングし、整合性のあるテキスト生成を実現
  • MLM （Masked Language Modeling）と 拡散モデル の関係性や今後の発展可能性を考察

拡散型言語モデルの基本と発展

  • Gemini Diffusion は、従来の GPT 系の1トークンずつ生成とは異なり、 ノイズからブロック単位でテキスト生成 を行う新方式
  • 拡散モデルは元々画像生成で普及し、 ノイズ加算→段階的除去 という2段階プロセスを持つ
    • 画像の場合： ガウスノイズ を加え、U-Net等で逆方向にノイズ除去
    • テキストの場合： マスク を段階的に増やし、逆に除去して元のテキストを再構築
  • マスク言語モデル（MLM） は、拡散モデルの特殊ケース（一定マスク率のみ）であり、マスク率を可変にすれば 拡散的生成 が可能
  • これにより、BERTやRoBERTaも 段階的生成モデル として機能

Transformerアーキテクチャの歴史と分類

  • Transformer は2017年に Encoder-Decoder 構造で登場
  • 2018年以降、 Encoderのみ（BERT） ・ Decoderのみ（GPT） に分化
    • Encoder系（BERT） ：双方向文脈、MLMで訓練、分類や検索タスクに強み
    • Decoder系（GPT） ：次トークン予測、生成タスクに強み
  • BERTは即座に分類タスクで活用されたが、生成力はGPT系列に軍配
  • 拡散的生成 の登場で、BERT系も生成タスクに新たな可能性

離散言語拡散モデルの仕組み

  • 前方（ノイズ付加）プロセス ：段階的にトークンを<MASK>で置換、最終的に全てマスク
  • 逆方向（ノイズ除去）プロセス ：部分的にマスクされたテキストから元のトークンを予測・復元
  • マスク率を段階的に変化 させることで、従来のMLMを拡張
  • 各ステップでの損失和を最適化し、 生成能力 を獲得

RoBERTa拡散モデルの実装例

  • HuggingFace Transformers を用い、RoBERTaをWikiTextデータセットで拡散的にファインチューニング
    • 10段階のマスク率（1.0, 0.9, ..., 0.1）をランダムに適用
    • 先頭16トークンは常にマスクせず、 プロンプト条件付き生成 を実現
  • 主な訓練・生成フロー
    • 訓練時：バッチごとにマスク率を選択、<MASK>で置換
    • 生成時：プロンプト＋<MASK>で初期化し、段階的にノイズ除去・トークン復元
  • 実験結果：30分の訓練でも 一貫性あるテキスト生成 が可能
    • GPT-2と比較して若干遅いが、意外なほど高品質

まとめと今後の展望

  • RoBERTaのようなMLMモデル も、マスク率を可変にした拡散的訓練で 生成モデル へ転用可能
  • アーキテクチャ変更なしでも、 段階的ノイズ除去による生成 が実現
  • 今後は AR-Diffusion や Skip-Step Diffusion などの新手法、実装最適化でさらなる品質・速度向上に期待
  • MLMと拡散モデル の関係性理解が、今後の言語モデル設計の指針となる

Hackerたちの意見

テキスト拡散モデルが出始めたとき、俺もこの人と同じことを思ったよ（「待って、これってただのMLMじゃん」）って。もっとMaskGITのことを考えてたけどね。「拡散」って呼ぶ理由は、モデルが間違ったトークンを正しいものに置き換えることを学ばなきゃならないってことかな（連続拡散の大きな特徴はノイズ耐性だから）。でも、良い間違ったトークンを考えるのは難しいから、誰もやってないと思う。

electraとの比較が気になるな。

└

それかdebertaでも、でもやっぱり超面白いね！

俺の知る限り、この関連性は2021年に最初に指摘されたんだよね。https://arxiv.org/abs/2107.03006（5ページ目）。俺たちは、テキスト拡散をやりたくて、意味的に似た言葉に言葉を腐らせる（例えば「速い茶色の狐」→「素早い黒い犬」）ことを考えてたんだけど、マスキングの方がモデルが見つけやすいってことが分かったんだ。歴史的には、さらに遡るとhttps://arxiv.org/abs/1904.09324があって、拡散数学にフレーミングせずに生成的MLMを作ったんだよね。

└

これも関連がある - https://arxiv.org/pdf/1902.04094

俺にとって、拡散ベースのアプローチは流行りのLLMのトークンを一つずつ処理するアプローチよりも、動物の脳で起こっていることに近い「感じ」がする。自分のことを言うと、俺は前に話した言葉に基づいて一つずつ言葉を生成するわけじゃなくて、頭の中にぼんやりしたアイデアを持って始めて、それを言語に整然とするのが難しいんだ。

└

よくSlackでメッセージを書いた後、5回も編集することがあるんだ…今はそれをやるたびに拡散モデルみたいに感じる。

└

自分が認知的に意識しているってことは、これは拡散とは程遠い証拠だね。むしろ、思考のトークンを考えるような、熟考に近い感じかな。もし今のLLMのメタファーを見つけなきゃならないとしたら。

└

あなたは100%の確率で、言葉を一つずつ順番に発音したり書いたりしてるよね。でも、文を始める前に、言いたいことの要点を頭の中でまとめてる。それは、LLMの潜在空間でも、最初のトークンを出力する前に起こることなんだ。

└

もしかしたら、これは二つの異なる思考モードかもしれないね。ふわっとした思考がまとまることもあるけど、時には線形に考えを繋げることもできる。脳は両方できるのかも。

└

解釈可能性の研究によると、自己回帰型LLMも自分が何を言うかを事前に計画しているらしいよ。

└

だから、私はジェミニ拡散にすごくワクワクしてるんだ。[1] - [1] https://deepmind.google/models/gemini-diffusion/

Hacker Newsで議論の続きを見る