ハクソク

世界を動かす技術を、日本語で。

ボンサイ27B：電話で動作する27Bクラスのモデル

2026年7月15日原文(prismml.com)

概要

  • Bonsai 27B はQwen3.6 27Bを基盤とした新しいマルチモーダルAIモデル
  • 1-bit と ternary 重みで高性能と小型化を両立、スマートフォンでも動作可能
  • 多段階推論 やツール呼び出し、ビジョンタスクなど高度なエージェント機能を搭載
  • 従来モデルより圧倒的な知能密度 を実現、デバイス上でのAI活用範囲が拡大
  • Apache 2.0ライセンス で本日より利用可能

Bonsai 27B：スマートフォンで動く27Bクラスの新マルチモーダルAI

  • Bonsai 27B は Qwen3.6 27B をベースにしたBonsaiシリーズの新フラッグシップモデル
  • 1-bit （バイナリ：{-1, +1}）と ternary （三値：{-1, 0, +1}）の2種の重み表現を採用
    • Ternary Bonsai 27B ：FP16グループスケーリング付き三値重み、 5.9GB、高品質志向、ラップトップで動作
    • 1-bit Bonsai 27B ：同スケーリング付きバイナリ重み、 3.9GB、省メモリ志向、iPhone 17 Proにも搭載可能
  • 16bit精度モデル（54GB）や4bitビルド（18GB） と比較し、圧倒的な小型化を実現
  • マルチモーダル対応 ：ビジョンタワーは4bitで実装、スクリーンショットやカメラ入力も処理可能
  • 262Kトークンのコンテキスト長、 speculative decoding による高速化対応

性能と知能密度

  • 15種ベンチマーク （知識、推論、数学、コーディング、ツール呼び出し、ビジョン等）で高い性能を維持
    • Ternary Bonsai 27B ：フル精度の 95% の性能を維持
    • 1-bit Bonsai 27B ：フル精度の 90% の性能を維持
  • カテゴリ別スコア （例：Math 93.4, Coding 86.0, Vision 65.2 など）
    • 1-bit Bonsai 27B は従来の低ビットモデルよりも高スコア、メモリ消費は約1/2.5
  • 知能密度（Intelligence Density） ：1-bit Bonsai 27Bは 0.53/GB を達成
    • フル精度比で 10倍以上、他の低ビットモデル比で 約2.7倍

パラダイムシフトの意義

  • AIワークロードの変化 ：単発応答から持続的エージェント型作業へ
    • 実ツール操作、オフラインワークフロー、プライベートデータ解析など
  • クラウド依存の課題 ：通信コスト、プライバシーリスク、逐次的な遅延
  • オンデバイス実行の利点 ：データが端末外に出ず、100ステップ以上のループも追加コストゼロ
    • ローカルAIエージェント、 オフラインアシスタント、 プライベートデータ処理 の実現
  • ハイブリッド構成 ：ローカル/クラウドをタスクごとに使い分け、コスト最適化

パフォーマンスとデバイス対応

  • NVIDIA GeForce RTX 5090 ：1-bitで最大 163 tok/s、Ternaryで 134 tok/s
  • Apple M5 Max ：1-bitで最大 87 tok/s、Ternaryで 58 tok/s
  • iPhone 17 Pro 等スマートフォンでも 1-bit Bonsai 27B が動作
    • 12GBメモリ端末でも 4GB未満 で運用可能、KVキャッシュやアクティベーションも考慮
  • 用途別に2種のバリアント ：ラップトップ向けTernary、スマホ向け1-bit

今後の展望とインパクト

  • Bonsai 27B は 知能密度のフロンティアを大幅に前進
    • 既存のほとんどの端末で高度なAIが利用可能に
  • 知能密度 が今後のAI進化の重要指標
    • モデルの「できること」だけでなく「どこで動くか」が重要
  • Bonsai方式はアーキテクチャ非依存、今後さらに大型モデルや新構造にも展開予定
  • かつての大型コンピュータがポケットに収まった歴史の再現

プラットフォーム対応とライセンス

  • Appleデバイス（Mac、iPhone、iPad） ：MLXでネイティブ動作
  • NVIDIA GPU ：CUDA対応のカスタム低ビットカーネルで動作
  • モデル重みはApache 2.0ライセンス で本日より公開
  • 開発者向けプレビューAPI も期間限定で無料提供

PrismMLについて・参加募集

  • PrismML はCaltech研究者出身のチーム、Khosla Ventures、Cerberus、Google、Samsungの支援で設立
  • ニューラルネット圧縮と推論能力維持 という難題に数年取り組み
  • 次世代AI開発に興味ある方は採用ページへ

Hackerたちの意見

モデル自体はHugging Faceに出てるよね： https://huggingface.co/prism-ml/models いくつかLM Studioで試してみたけど、GGUFのやMLXのやつはどっちも動かなかった。誰かうまくいった人いる？LM Studioがllama.cppやMLXエンジンをアップグレードしないとダメかもね。

└

Unslothではうまくいかなかったけど、次のアップデートが出るまでの1、2日で直ると思う。

└

どのモデルを使ってるかによって、カスタムフォークを使う必要があるかも。詳しくはここにあるよ -> https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README....

これらの小さなAIラボの採用状況やビジネス戦略ってどうなってるの？こういう人たちがモデルを最適化して無料で提供してるのは本当にすごいよね（オープンソース）。こういうラボには、ローカルモデルを求める顧客と統合するためのエンジニアがいるのかな？ローカルモデルの流れが一般的になってきてるの？

└

ページの下の方を読むと、数人の人に資金提供されてるって書いてあって、その中にSamsungも含まれてる。Samsungは将来のスマホモデルに優れたAIシステムを搭載したいんだろうね、Appleと競争するために。

どうやらAppleがPrismMLと「話し合い中」らしいよ： https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

└

特に、PrismMLのCEOババク・ハシビがCNBCにこれを言ったから、(1) 嘘か、(2) 彼が交渉のニュースを漏らして関係の可能性を完全に潰したかのどちらかだね。

KVキャッシュのメモリ使用量は、フルコンテキスト長でもかなり節約されてるみたい。これがあると、マルチエージェントのコーディングワークフローで特に役立ちそう。KVキャッシュのメモリ使用量や関連する最適化については、新しいモデルの発表やデモでもっと明確に話してほしいな。

└

KVキャッシュの量子化は、注意力やリコール、長文タスクに影響を与えるみたい。モデルファミリーやサイズによって、モデルの異なる部分の量子化に対する耐性が違うし、意図したタスクにも同じことが言える。

すごい！1年以上、三元モデルのスケーリングを待ってたんだ。[1] 試すのが楽しみだよ。典型的なQwen 27Bは、ローカルハードウェアで合理的な速度で動かすには重すぎるからね。[1] https://jackson.dev/post/dont-sleep-on-bitnet/

└

同じく！16GBのノートパソコンで使えるモデルが手に入るかもしれないなんてワクワクするね。

密なモデルに対する重い量子化手法が、Googleの35B-A3Bみたいな少し量子化されたMoEモデルよりも良い結果を出すのは、ちょっと変だよね。今のところ、いろんな量子化や「圧縮」（LLMに適用されたMPOを見てみて…）技術が、ちょっと詐欺のように感じてきた。結局、技術が十分かどうかを決めるのは、直感か、ベンチマークモデルに最適化されたスコアなんだよね。

Hacker Newsで議論の続きを見る