概要

TurboFieldfareは、Apple Silicon Mac（8GB RAM含む）上でGemma 4 26B-A4Bモデルを約2GBのRAMで動作可能にするSwift＋Metal製ランタイム モデル全体（14.3GB）をRAMに読み込まず、必要なエキスパートのみSSDからストリーミング Macアプリ・CLI・OpenAI互換サーバを提供 独自のキャッシュ・ストリーミング・Metal最適化による高速化 実験・ベンチマーク・導入方法・仕組みも丁寧にドキュメント化

TurboFieldfare：Apple Silicon Mac向けGemma 4 26B-A4B推論エンジン

• TurboFieldfare は、 Gemma 4 26B-A4B モデルを 約2GBのRAM で動作させるために開発された Swift＋Metal製のカスタム推論エンジン
• Apple Silicon Mac （M1/M2/M3/M4シリーズ、8GB RAMモデルも含む）で動作
• モデル全体（約 14.3GB）をRAMに展開せず、 1.35GBのコア部分＋FP16 KVキャッシュ のみ常駐
• 各トークンごとに必要な エキスパートのみSSDからストリーミング し、RAM消費を抑制
• CLI、ネイティブMacアプリ、OpenAI互換ローカルサーバ を提供

主な特徴

• モデル固有設計 （MLXやllama.cppのラッパーではない独自実装）
• 4-bit量子化済みGemma 4 26B-A4B （Instruction-tuned）をサポート
• Metal最適化カーネル による高速推論
• SSDバックエンドのエキスパートキャッシュ でRAM負荷を最小化
• Swiftパッケージ として、アプリ・CLI・サーバなど6製品を同梱

動作要件

• Apple Silicon Mac （8GB RAM以上、推奨M2以降）
• macOS 26＋Metal 4＋Swift 6.2 以上
• 14.3GB以上の空きストレージ
• インターネット接続 （初回モデルダウンロード時のみ）
• arm64専用 （Intel Macや古いmacOS/Metalは非対応）

インストールと実行手順

• リポジトリをクローン し、Swiftでビルド

  git clone https://github.com/drumih/turbo-fieldfare.git
  cd turbo-fieldfare
  swift build -c release
  .build/release/TurboFieldfareMac
  

• 初回起動でモデル（約15GB）をHugging FaceからストリーミングDL＆再パック
• .gturbo形式 で約14.3GBに圧縮保存、検証済みでのみ利用可能
• アプリ起動後 ：「Download」でモデル取得、「Load Model」で読み込み、プロンプト入力後「Generate」で生成開始

推論速度・性能

• 8GB M2 MacBook Air ：5.1〜6.3 tok/s
• 24GB M5 Pro ：31〜35 tok/s
• 実測値は参考値 （プロンプト長、生成長、キャッシュ状態、ハードウェアで変動）

CLI・サーバ・その他機能

• CLI ：.gturboモデルを直接利用し、命令チャットや生テキスト生成が可能
  • JSON形式のメッセージ で命令チャット
  • 生プロンプト渡し にも対応
  • 生成オプション （max-context, temperature, top-k, top-p, seed等）を細かく指定可能
• OpenAI互換ローカルサーバ ：
  • http://127.0.0.1:8080/v1 でChat Completions API提供
  • ストリーミング・ツールコール・プロンプト再利用 等に対応
  • 認証・TLSなし （ローカル利用前提）
• テストスイート・ベンチマークガイド も同梱

技術的仕組み

• 各トランスフォーマ層 でMetalがアテンション・ルーター計算を担当
• CPU はルーター出力からエキスパートIDを選択し、LFUキャッシュを管理
• SSDからエキスパート部分を並列preadで読み込み、GPUが共有部分を並列実行
• プロンプトプリフィル は128トークン単位で分割し、エキスパートの重複利用を最適化
• 推論時は1トークンずつストリーミング生成
• インストーラも分割ダウンロード＆即時再パック で一時ストレージ消費を最小化
• .gturbo形式 でモデル格納、マニフェストとハッシュ検証で整合性担保

現状の範囲・今後の展望

• テキスト生成専用 （画像・音声・動画非対応、ツール呼び出しはOpenAIサーバ経由のみ）
• iPhone/iPad対応・さらなるMacでのベンチマーク も計画中
• 実験記録・技術解説・ベンチマーク を詳細に公開

ライセンス・注意事項

• Apache License 2.0 （ソース・ドキュメント）
• モデル重みは付属せず、Hugging Faceから個別DL
• Google非公式・独立研究プロジェクト
• ライセンス・サードパーティ通知はTHIRD_PARTY_NOTICES.md参照

補足・作者について

• 作者：Andrey Mikhaylov （iOS/Metalエンジニア、画像・動画・オンデバイスAI専門）
• プロジェクト名の由来や実験記録 はGitHubに詳細掲載
• フィードバック歓迎

---

参考リンク

• TurboFieldfare GitHubリポジトリ
• Gemma 4 26B-A4Bモデル（Hugging Face）
• Maarten Grootendorst's A Visual Guide to Gemma 4

---

導入・実行の要点まとめ

• Mac 1台で大規模LLMを実用的に動かしたい場合の最適解
• ストレージ負荷を最小限に、RAM 2GBでも26Bモデルが動作
• Swift/Metalによる高効率設計と豊富な実験・検証記録
• CLI/GUI/サーバまでワンストップで利用可能