ハクソク

世界を動かす技術を、日本語で。

Qwen3.8 27Bの量子化ベンチマーク: 4ビットは維持され、1ビットは崩壊する

2026年9月8日原文(quesma.com)

概要

  • Qwen3.8 27Bモデルの量子化とGPUメモリ要件の比較。
  • 4ビット量子化（Q4_K_M, 17GB）は品質をほぼ損なわずにRTX 4090で動作可能。
  • 2ビット以下では性能が急激に低下し、1ビットではほぼ無意味。
  • タスクベースのベンチマークで量子化の影響を検証。
  • コスト・実行環境も詳細に解説。

Qwen3.8 27Bの量子化とGPUメモリ要件

  • Qwen3.8 27B のフルモデル（BF16）は 55GB 必要、ほとんどのコンシューマGPUでは非現実的。
  • Q4_K_M（4ビット, 17GB） は、 RTX 4090（24GB） で動作し、 64kトークン のコンテキストも確保可能。
  • Q8_0（8ビット, 29GB） や UD-Q2_K_XL（2ビット, 10.7GB）、 UD-IQ1_S（1ビット, 6.2GB） など多様な量子化モデルがHugging Faceで提供。
  • 1ビット量子化 は GPQA Diamond などのベンチマークでランダムと同等レベルまで性能が低下。
  • 量子化による劣化は非線形 で、2ビットまでは緩やかだが1ビットで急激に悪化。

ベンチマークによる性能比較

  • Terminal-Bench 2.1（プログラミングタスク） では、 Q4_K_M とBF16のスコアがほぼ同等。
  • GPQA Diamond（サイエンス問題） や IFBench（命令追従） も4ビットまでは性能維持、2ビットでやや低下。
  • 1ビット量子化 は全ベンチマークで実用不可レベル。
  • 思考レベル（effort） によるスコア変動が大きく、xhigh（デフォルト）では8kトークン程度を消費。
  • 出力トークン数やターン数 は量子化による違いが小さく、2ビット以下でやや増加傾向。

コストと実行環境

  • クラウドGPU（Modal等） でのベンチマーク実行は高コスト（例：Terminal-Bench 2.1で$2,308）。
  • NVIDIA L40S（48GB）、 H100（80GB）、 H200（141GB） などの高性能GPUを利用。
  • KVキャッシュ は32kトークンで約2.3GB必要、モデル本体と合わせてGPUメモリ要件を計算。
  • 自前GPU環境 があればコスト削減可能。

量子化の実用的選択とまとめ

  • 実験やローカル運用では、GPUメモリに収まる最良の量子化モデルを選択 が推奨。
  • UnslothのQ4_K_M（4ビット, 17GB） は、ほとんどの用途で品質劣化なし。
  • UD-Q2_K_XL（2ビット, 10.7GB） も簡易タスクには十分な性能。
  • 1ビット量子化は非推奨、実用レベルに到達せず。
  • KVキャッシュの量子化耐性 も今後の検証対象。
  • 量子化は恐れず活用すべき技術、用途や環境に応じて最適化が可能。

参考：ユーザー体験と議論

  • Reddit（r/LocalLLaMA） や Hacker News、 LinkedIn で議論が活発。
  • 一部ユーザーは「量子化モデルは全て劣化」と感じるが、ベンチマークでは4ビットまで品質維持を確認。
  • KL-divergenceやtop-1予測の差分 は品質低下を直接示さないため、 タスク解決能力での評価が重要。

Hackerたちの意見

Q3には本当に穴があるね。ここでの重要なポイントは、16GB未満のカードで、5080、5070 Ti、5060ti、そしてこの世代や前の世代のいくつかのカードが含まれてる。品質の境界がどこにあるのか見てみたいな。

└

Q3 XLとQ3 XSのどちらにするか悩んでるところ。

└

AMD RX 9070XTでQ3を動かしてる。32kのコンテキストと32/TPS。コンテキストウィンドウが大きなタスクを妨げてるけど、これ本当にパワフルだよ。64kのコンテキストまで押し上げられるかも。ローカルのオープンモデルが未来だし、もっと強力なカードを手に入れるつもり。めっちゃ楽しい！

└

面白い新しいダイナミック3ビット量子化を試してみたいと思ってるんだけど、これだよね：https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF YouTubeのLuke’s Dev Labのルークが見てたみたい。典型的な3ビット量子化よりもパフォーマンスが良さそうだけど、新しいUnslothダイナミックより優れてるかは分からない。

└

5080を持ってて、OpenAI Proのトークンリセットが3回あって、今は育児休暇中なんだ。Astraは結構賢そうだね。タスクを与えてみようかな。

まず、ノイズについてだけど（バーはウィルソンの95%信頼区間で、ランごとのノイズにはかなり保守的）、4ビットまでほとんど違いはないよ。2ビットだけが少し低いスコアになってる。信頼区間はランごとの変動とは関係ないし、通常人々がそれに関連付けることともあまり関係がない（https://link.springer.com/article/10.3758/s13423-015-0947-8）。ランごとの変動とはさらに関係が薄い（https://link.springer.com/article/10.1007/s10654-016-0149-3 誤解22）。

└

目が覚めた。統計について読むほど、知らないことが増えていく。

└

ノイズのシャノン共分散の2次導関数は違う意見を持ってるね。

└

指摘は分かったけど、もっと根本的な問題があるんだ。それが「非常に保守的」と書いた理由でもある。もし同じデータ分布からAとBの2つのセットを選んで、最初にAでスコアを出して、その後Bでスコアを出すとしたら、これは別の問題だよ。ここでは、まったく同じTerminal Bench 2.1の問題セットで再実行してるからね。結果がランダムすぎて、各タスクがベルヌーイ分布で同じ確率を持つ可能性もあるけど、もっとありそうなのは、多くの問題が簡単すぎる（つまり、各実行で一貫して解ける）か、逆に難しすぎる（つまり、どの実行でも解けない）か、そしてほんの一部だけがその中間にいるってこと。適切な分布を見つけるための良いトリックがあるかもしれないけど、少なくともTB2.1で2回は実行しないと、もっと正確な推定はできないと思う。とはいえ、新しいアイデアにはオープンだよ。ちなみに、頻度主義の確率は汚いトリックだと思ってるし、ベイズ的アプローチが正しいやり方だと思ってる（David J.C. MacKayの「情報理論、推論、学習アルゴリズム」とCam Davidson-Pilonの「ハッカーのための確率プログラミングとベイズ手法」を参照してね）。

└

これをありがとう！すごく勉強になったよ！オープンアクセスなのも素晴らしいね。

└

そうそう、予測区間のことだよね？（まだ統計を勉強中なんだ）ラン・トゥ・ランの信頼区間があるって言っても、俺の理解では意味がないと思う。だって、各ランの結果がバラバラになる可能性があるから。

うーん、この文章がクラウドと人間の共同執筆だと仮定すると、「この記事を読む価値があるかどうかを知るための目安」を誰か教えてくれないかな？一方で、文体やプレゼンテーションが痛々しい（関係ないポイントを語ったり、非線形のX軸、あいまいなチャートラベルなど）けど、他方で著者が伝えたい結果（「これらの評価では、生成品質はかなり良さそう」）は共有する価値がありそう？今、この質問に本当に悩んでるんだ。「もし文章がデータと関係ないテキストを並べて提示しているなら、著者が書こうとしているタスクを理解していないサインかもしれない」と逆の推論をしてもいいのかな？

Hacker Newsで議論の続きを見る