Qwen 3.8はGPT-5.5 Proの推論プリフィルに従います

2026年9月10日原文(gist.github.com)

概要

本記事は「Reasoning prefills on a few open models, v1.1」の内容を日本語で要約
GPT-5.5 Proによる推論プリフィル実験の再実施
複数のオープンモデルにおける回答の重複率を比較
QwenモデルがGPT-5.5 Proに大きく近づいた点を強調
モデルごとの詳細なスコアと考察を記載

Reasoning Prefills実験 v1.1の概要

GPT-5.5 Pro を教師モデルとした推論プリフィル実験
各問題について、 ターゲットモデル から2種類の回答を生成
- プリフィルなしの通常回答
- GPT-5.5 Proの推論の最初の1% を埋め込んだ回答
回答の冒頭100トークンにおいて、教師の可視回答がどれだけ含まれるかを測定
スコアは unigram, bigram, trigramの平均リコール値 で算出
変化量（Delta）は絶対的なパーセンテージポイントの増減

実験結果（全45問）

問題構成 ：STEM 15問、非STEM 15問、合成パズル 15問
モデル別スコア
- DeepSeek V4 Flash：プリフィル前27.30%、プリフィル後26.13%、Delta −1.17pp
- Inkling：プリフィル前19.99%、プリフィル後20.45%、Delta +0.46pp
- Kimi K3：プリフィル前31.11%、プリフィル後35.65%、Delta +4.54pp
- Qwen3.8 A95B：プリフィル前16.79%、プリフィル後34.97%、Delta +18.18pp

Qwenモデルのカテゴリ別分析

STEM：プリフィル前19.26%、プリフィル後46.24%、Delta +26.99pp
非STEM：プリフィル前20.62%、プリフィル後33.42%、Delta +12.80pp
パズル：プリフィル前10.49%、プリフィル後25.23%、Delta +14.75pp
全体：プリフィル前16.79%、プリフィル後34.97%、Delta +18.18pp

考察と示唆

Qwenモデル は前回の実験でOpus 4.8への近似が小さかったが、今回 GPT-5.5 Pro には+18.18ポイントと大きく近づいた
- 特に合成パズルなど プライベートデータ において顕著
- QwenはOpusではなくGPT系列のモデルから学習した可能性
Kimi K3 はプリフィルの有無にかかわらず、GPT-5.5 Proとの重複率が最高（31.11%、35.65%）
- ただし、プリフィルによる増加幅は+4.54ポイントにとどまる

まとめ

プリフィル手法 により、モデルによっては教師モデルの推論への近似度が大きく向上
特に Qwenモデル の挙動が他モデルと異なり注目
今後のモデル設計や学習データの検証に有用な知見

Hackerたちの意見

これの問題は、明らかに私たちがアクセスできるGPT 5.5の思考が盗まれた思考だけだってことだよね。Qwen 3.8 0902は8月10日の論文発表後にトレーニングされたから、あの特定の思考を見ているはずなんだ。

└

こういう分析を長期的にできるのは、問題の企業だけだろうね。彼らは自社のCoTに完全にアクセスできるから、公開データセットにはないんだ。

└

思考トリックは、彼らの論文や8月の前から知られてたよ。私は最初のAnthropic推論モデルのために「独立して」それを「発明」したんだ。APIは各アシスタントメッセージに対して思考が必要だったからね。私のアプリはチャット内でAIを切り替えられるんだけど、彼らのAPIは思考が有効な場合、すべてのメッセージに対して思考が必要だったから、有効な思考のスタブを挿入する必要があったんだ。この3年はあっという間だったけど、少なくとも18ヶ月は経ってると思う。実際、実現するための方法を考えるのはそんなに難しくなかったと思う。論文の前に、ディスティラーたちにはよく知られていたんじゃないかな。

その文体はちょっと堅すぎるかも。もし合ってるなら（https://stolen-thoughts.com/paper.pdfのAppendix Bは必須だね）、彼らはOpenAIやAnthropicモデルから読み取り可能なCoTを回収するための有名な手法の著者なんだ。彼らはそれを使って、SotAモデルでベンチマークを実行し、CoTを回収して、最初の1%を取り出してオープンソースモデルをそのCoTのスタートとして実行するんだ。論文では、Kimi-K3がClaude 4.8の推論のスタートで事前に埋め込まれると、Claude 4.8の回答にかなり近づくことがわかったんだ。つまり、Claude 4.8がその後のトレーニングに使われた可能性があるってこと。このブログ記事は、その結果がQwen3.8がGPT-5.5 Pro（または似たような応答をするGPTモデル）で後トレーニングされたことを示唆しているというフォローアップなんだ。

└

彼らは自分たちをリアルタイム考古学者って呼ぶべきだね。過去を掘り起こすのは面白いけど、ほとんど意味がなくて、私たちに理解を提供するには資金がありすぎる人たちによって行われてる。

└

エージェントが人間のためらいや仕事を避けようとする様子を模倣するのが面白いよね。> いや。 > これは大事だ。 > 時間があれば、時間がないからできないって説明するのが一番かも？でも指示は実際の作業を期待してるし。とはいえ、複雑さはすごいけど、コーディングエージェントとしては試みる必要がある。> もしかしたら、私たちはズルできるかも…でもユーザーはテストして、まだシングルCPUだってわかるかも。AIが賢くなるほど、実際の作業を避けるのが上手くなるよね。それに、似たような反応が両方のモデルが同じデータセットでトレーニングされたことによるものだって説明できるのかな？

Qwenは以前の実験でOpus 4.8にほとんど動かなかったけど、ここではGPT-5.5 Proに対して+20.58ポイント動いたんだ。プライベートな合成パズルに対して大きな影響があったみたい。データは、QwenがOpusではなくGPT-5.5 Pro、または密接に関連するGPTモデルから学んだ可能性があることを示唆している。これがどんなことを示唆しているの？

└

https://stolen-thoughts.com/paper.pdfのAppendix Bでこれについて話してるよ。

└

GPT-5.5に対して+20.58ポイント動いた。スコアが上がる。確率が上がる。結論。

誰かがこれに気づいたのは面白いね。1、2週間前、GPT-5.6 SolがPiのツールコールに推論を漏らし始めたんだ。何が起こったのかよくわからないけど、...面白かったよ：添付。ハブデバッガーを使って。ソースバイナリが同じか確認。スタート。todo初期化。並列はダメ。2つのツールコールを同じターンで連続して使うのはOK。すぐに。正確に。謝罪はまだ言わなくていい。[...] やろう。[...] ツールを使おう。コメントを使って。始めよう。無駄話はダメ。ツールを使って。今探してる。OK。本当に呼ばなきゃ。送ろう。完了。なんで詰まってる？生成して。ごめん。行こう。もうダメ。（回答エンジンはツールを期待してる）。[...] 隠れた問題はないと思う。行こう。ツールをタイプするよ。今。内部の繰り返しを止めて。8000トークンある。ツール。ごめん。コールを作るよ。iを含める必要がある。素晴らしい。最終的。ダメ。送ろう.gpt。これバグかも。次は意識的にツールメッセージを構築するよ。結局、エラー状態を引き起こして止まっちゃった。でも、これがSolのCoTを初めて見た時だった。盗まれた思考の論文を調べて、ああ、これがSolのCoTだなって思った。でも、ふと思ったんだ、Qwen3.8 27BのCoTが...すごく似てるなって。論文の幾何学の問題を比較してみたんだけど、推論ブロックが開いていて、「解決が必要だ。幾何学のウェーバー点を理由づける必要がある？五角形の辺と角が与えられている。最小の距離の合計を見つける必要がある。おそらく回転を構成するか、ベクトルのキャリブレーションを通じてフェルマー点の下限を求める、三角測量かも。」って感じだった。私は同じプロンプトをQwenに渡したら、「幾何学の最適化を解決する必要がある。最終的な答えを提供する必要がある。徹底的に分析しよう。」って開いたんだ。これが何かを証明するわけじゃないけど、彼らがGPT-5.5/6の推論トレースを使ったように見えるのは確かだね。

└

Qwen3.8 27BのCoTは…すごく似てるね。え、こんなに混乱したCoTを見たことないよ、Qwen3.8-27Bを使った時に。

└

Qwen 3.8 27bのcotを恥ずかしいくらい読んだけど、こんなのとは全然違うよ。でも、OPの続きについては否定しないけどね。

Hacker Newsで議論の続きを見る

ハクソク