概要
Qwen3.8-27B は、FP8量子化済みモデルであり、 Hugging Face Transformersフォーマット に対応。 幅広い推論フレームワーク (vLLM、SGLang、TokenSpeed等)で利用可能。 推論効率 や 長文コンテキスト、 マルチモーダル対応 など、先進的な機能を搭載。 APIや各種サーバーエンジン による容易な統合・運用を推奨。 ベンチマーク結果 も高水準であり、実運用や研究用途に最適。
Qwen3.8-27B FP8量子化モデル概要
- FP8量子化済みモデル重みと設定ファイル を提供
- Hugging Face Transformers形式で配布
- vLLM、SGLang、TokenSpeedなどと互換性
- 量子化手法 :きめ細かいFP8量子化(ブロックサイズ128)
- 元モデルとほぼ同等の性能指標
- 推論サービス :Qwen Cloudによる公式APIサービス
- インフラ管理不要なスケーラブル運用
- Qwen3.8-27Bは1Mコンテキスト長・公式ツール等を搭載予定
- Qwen3.8シリーズ :Qwenオープンモデルファミリー最新世代
- Qwen3.5系アーキテクチャを基盤に大幅な性能向上
- コーディング、専門業務、研究、長期的エージェントタスクに強み
- マルチモーダル対応 :画像・動画理解にネイティブ対応
- 柔軟な思考制御と複雑なタスクの高信頼な完了
Qwen3.8-27B 主な特徴
- コア能力 :コーディング、専門職、研究、長期エージェントタスク全般での大幅な強化
- エージェント実行 :自律的なプランニングや環境フィードバックの処理能力向上
- 下流互換性 :主要な開発ツールやハーネスへの広範な対応
- 思考制御 :デフォルトで思考モードON、リクエストごとに無効化可能
- reasoning_effortで推論深度調整
- preserve_thinkingで過去メッセージの思考文脈を保持
- ビジョン・ランゲージ理解 :STEM図や長時間動画等、画像・動画理解に対応
モデル仕様
- モデル種別 :Causal Language Model + Vision Encoder
- パラメータ数 :27B
- 隠れ次元 :5120
- トークン埋め込み :248,320(パディング含む)
- 層数 :64
- レイアウト :16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
- ヘッド数・次元 :Gated DeltaNet(V:48, QK:16, 次元128)、Gated Attention(Q:24, KV:4, 次元256)
- 位置埋め込み :Rotary Position Embedding 64次元
- 中間次元 :17,408
- 出力 :248,320(パディング含む)
- MTP(Multi-Token Prediction) :複数ステップ学習済み
- コンテキスト長 :ネイティブ262,144、最大1,000,000トークンまで拡張可能
ベンチマーク結果(抜粋)
- コーディング・エージェント性能 :Terminal Bench 2.1で73.0点、SWE-bench Proで61.7点
- ソフトウェア工学 :QwenSWEBenchで79.0点
- 長期タスク :CoWorkBenchで70.7点
- マルチモーダル知能 :OSWorld-Verifiedで84.3点、WebArena-Verifiedで64.8点
- 視覚的推論 :MathVision(Without CI)で90.0点、CharXiv(RQ, Without CI)で83.7点
- ドキュメント知能 :OmniDocBench 1.5で91.1点
- 実世界認識 :RealWorldQAで85.9点
推論・API利用方法
- API統合推奨 :Qwen3.8 API利用でシームレスな導入
- 推論エンジン :SGLang、vLLM、TokenSpeedなどの最新バージョン推奨
- 思考モード :デフォルトで<think>\n...\n</think>を出力
- 無効化も可能(サンプル参照)
- 推奨サンプリングパラメータ
- 思考モード:temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
- 指示(非思考)モード:temperature=0.7, top_p=0.80, top_k=20, presence_penalty=1.5
- reasoning_effort :xhigh(デフォルト)、medium、lowで推論深度とコスト調整
- preserve_thinking :デフォルト有効、無効化方法もサンプル参照
- 注意事項 :reasoning_effortを下げてもタスク全体の完了時間が短縮されるとは限らない
Chat Completions APIサンプル
- OpenAI Python SDK 利用例
- テキスト入力・画像入力の両方に対応
- reasoning_contentと最終回答を分離して取得
- APIキー・エンドポイント設定 :環境変数で指定
- ストリーミング応答 :逐次reasoningとanswerを表示・蓄積
- 思考モード・推論深度 :APIパラメータで柔軟に制御可能
Qwen3.8-27B は、 高性能・高柔軟性・マルチモーダル対応 を兼ね備えた最新の大規模言語モデル。 研究、業務、開発、エージェントタスク における最先端の選択肢。 APIや各種フレームワーク でのスムーズな運用・統合が可能。