そうだね、もっと良い指標は、ローカルモデルを動かすために必要なノートパソコンのコストと、どうせ買うつもりだったノートパソコンのコストの違いかもしれないね。

使用するモデルに対するコントロールがあるけど、最も能力の高いモデルにはアクセスできなくなって、小さいモデルしか動かせないよ。

LLMの出力を受け取るだけでなく、お金の代わりにノートパソコンも手に入れたんだ。そして、Macだから、アップグレードする準備ができたときには、まだかなりのリセールバリューがあるよ。

OPは、精神的におかしくなってMacを抱え込んでる人たちと比べて、絶対に最高のケースを提示してるよ。これらの人たちの中には、まだ計算ボトルネックになってるMac Studioに$10,000以上も使った人がたくさんいるけど、Gemma 4より効率的なものはないんだ。

そうだね、それで彼の主張は完全に無効になっちゃう。OpenRouterのアクティビティでいくつかのランダムなエージェントセッションを見てみたけど、入力コストは出力コストの10倍だった。OpenRouterのプロンプトキャッシングは複雑で信頼性がないし、ローカルハードウェアのllama-cppではほぼ無料だよ。

ローカル環境でのキャッシングを無視しても、Macのハードウェアは入力トークンを出力トークンの約10倍の速さで処理できることが多いよね。Openrouterは同じモデルで2倍の差しかないみたい。

全てを最も楽観的な設定で丸めたら、百万トークンあたり0.40ドルになったし、openrouterでは同じモデルが0.38ドル/mtokだよ。

24時間365日使うと、平均コストは下がるんだよ。ローカルLLMをあまり使わないなら、使わないために高いハードウェアを買った意味がなくなるからね。

今のデータセンターの流行、効率的に見えないよね。

記事、全然意味わかんない。OpenRouterを一般的なコンピュータとして使えないし、なんで一つの目的のSaaSとコンピュータを比べてるの？

そうだね、丸めて言うと、効率を追求してる割には妙に非効率的だね。新しい64GBのM5 MacBookを4,000ドル以上で買えるけど、eBayで傷だらけだけど動くM1 Max 64GBを1,000ドルちょっとで買って、著者がM5で出してるのと同じ10-20 t/sを31bで出せるかもしれない。もっと言うと、フロンティアモデルに計画と判断をさせて、ローカルのMOEモデルで50 t/sで実行することもできる。これ、暇な元英文学専攻の人でもできることだよ。

あなたの投稿は、ハードウェアを他の理由で購入して、たまにモデルを試す程度なら理解できるけど、そうじゃない人が多いよね。最近のホームブリューオプションを持ち上げて、大手AIから解放されると信じている人たちがいるSNSのスペースがあるんだ。何百万もの人が、LLMを動かすためにMac StudioやDGXのような高額なハードウェアを買ってる。数字を冷静に計算するのはいいことだね。

俺のM4 Max 128GB、めっちゃ良い感じだよ。動画編集やMLモデルのトレーニング、大きなAIモデルの実行、3Dモデリング、レンダリング、CAD作業もやってる。全部を100%の時間やってるわけじゃないけど、MLトレーニングを夜中に回して朝に結果を確認したり、仕事中はサーバーとしてローカルモデルを動かしたり、空いてる時間に動画編集や3Dモデリングをしてる。ほんとに多用途なマシンで、データも自分のデバイスに保管できて、ワークフローを完全にコントロールできるのがいいね。

賢い選択は、約48GBのMacBookを手に入れて日常使いにすることだね。それからAIのサブスクリプションやトークンに年間約800ドルの予算を組めば、結局同じくらいの価格になるよ。ブログ記事の著者として言うけど、今これをMacBook M5 Max 128GBで書いてるよ。

HNの人たちには言わないでおいてほしいけど、$200のrpi5や$500のAMDミニPCでこれらのモデルのいくつかを動かせるよ。もう一つのオープンな秘密は、特定の企業が数万トークンを無料で提供してくれること。Gemini 3.1やGLM 4.6のようなかなり立派なモデルがね。

モデルメーカーやメインフレームの夢は、OpenAIやGoogle、Anthropic、Microsoftが何を望んでも戻ってこないよ。門の前には、入りたがっている賢いテクノロジーの野蛮人がたくさんいるから、彼らはコンピュータ端末の時代に戻ることには満足しないだろう。パソコンは以前の端末時代を排除したし、その時代の企業はほとんど消えてしまった。IBMと数社の残党を除いて、彼らはかつての面影もないよ。

それはあり得ないと思う。openrouterにはオープンモデルのプロバイダーがたくさんいるし、彼らが売るトークンごとにお金を無駄にしてるとは思えない。また、大規模での推論がはるかに効率的である技術的な理由もあるよ。

ブログでは、Gemma4 31bの運用コストを比較してるんだけど、OpenRouterでは無名の小規模な推論プロバイダーが提供してるみたい。フロンティアAI企業じゃないね。まあ、これは公平な比較だと思うよ。

証拠ある？AnthropicのCEOは、彼らは利益が出てるって言ってたよ。OpenAIも同じだね。

モデルの価格は、同じタスクをこなすのに年々10倍も下がってるんだ。Anthropicが400Bモデルで他の企業より10倍高く料金を取ってるからって、彼らが損をしてると思っても、モデルの改善だけで価格は下がり続けるよ。

でも、スケールで考えるともっと効率化できるよね。今の仕事量じゃ、ローカルモデルを24/7で98%稼働させるのは無理だわ。大きなクラウドならできるけど。DCでサーバーを動かせないし、ACからDCへの変換が面倒なんだよね。問題はまだまだ続くよ。

彼らを苦しめてるのはモデルのトレーニングなんだ。もし明日、軍拡競争が止まったら、今の価格で推論は賄えるよ。

フロンティアAI企業は赤字で販売している。リクエストをバッチ処理して、MoE（スパースモデル）用に大量のRAMを使うことで、大きな経済効果が得られる。バッチサイズ1で単一ノードでは、その効率を達成できないよ。

それは違うよ。APIトークンは赤字で売られてるわけじゃないし、ハードウェアは時間とともに効率が良くなるから、同じモデルの推論を提供するのが安くなるんだ。LLAMA 3.1の405Bパラメータは2024年に$6/$12/Mトークンだったけど、2026年にはそのモデルが$3/$3/Mトークンになる。ある時点で最も賢いモデルは前のモデルよりもずっと大きいから、GPT5.5のトークンコストは5.4より高くなるんだよ。でも、2年後にはGPT5.5サイズのモデルを提供するのが、今のGPT5.5よりも安くなると思っておいて。2年後には同じくらい賢いモデルを手に入れるのももっと安くなるはずだよ。蒸留技術が同じベンチマークスコアに必要なパラメータ数を減らすのに効果的だからね。

https://old.reddit.com/r/GithubCopilot/comments/1tbb5bj/gith... 進展してるみたいだね！少なくとも20倍の増加を見込んでる会社の人を知ってるし、関連情報を調べた限りでは（具体的な情報はないけど）、ビジネスアカウントでは計算機にいくつかのコストが抜けてるから、もっと高くなる可能性があるよ。

ちょっと話題に集中した方がいいかもね。この文章は明らかにオープンウェイトモデル（例えば、Gemma 4）について話してるんだから、赤字で売られてるとされるもの（Opus、ChatGPTなど）ではないよ。[0]: ちなみに、これらのAPIも赤字で売られてるわけじゃないけどね。でも、面白いミームだから、そういうことにしておこうよ。

そうだね。Qwen 3.6 45b（6パラメータ）は、一般的な5090で動くんだけど、ゲーム好きなら多分持ってるよね。大体のコード生成タスクには十分使えるよ。（全部ではないけど、大体はね。）それに、DeepSeek V4 Flashもローカルモデルでかなりアクセスしやすいし、DwarfStar 4を使えば96GBのMacBookでも簡単に動かせる。推論にお金を払うのは全然悪くないけど、ローカルモデルにはオフラインで使ったり、プライベートなPIIや法的特権のあるデータを扱ったり、請求超過を気にせずにタスクをこなすなど、素晴らしい可能性があるんだ。他にも、サービスがダウンしたり、終息する心配なしに100%運用できるサービスを構築できる可能性もある。これは今のフロンティアモデルの問題だね。私のローカルQwenのセットアップは完全に予測可能だし、ハードウェアが見つかる限り動かせるよ。賢い戦略は両方を使うこと：ローカルの推論ツールを用意して、低コストと高コストのクラウドベースモデルを使うこと。GPT-5.5やOpus-4.7を要求の高い推論タスクに使ったり（後者をClaudeのサブスクリプションで安くするのもあり）、DeepSeek V4 Proを少し要求の低いタスクに、V4 Flashを大体のコード生成に使って、ローカルモデルはローカルで使いたいものに使うといいよ。

あなたの主張には反対しないけど、> 良い密なモデルが欲しいなら、代わりにqwen3.6 27Bを使った方がいいよ。速度が上がるし、もし私の言うことが賢いとは思えないなら、オープンルーターの価格を見てみて。大きくて遅くてメモリ効率の悪いgemmaと比べてみて。これが正しい読み方かは分からないけど、これらのプロバイダーは単にAlibabaの27B Denseのファーストパーティ価格を参考にしてるだけだと思う。個人的にはちょっと高すぎると思う。Qwenモデルが「推論非効率的」だから（フロンティアモデルやGemmaと比べて）、長いシーケンスを処理するのが高くつくのかもしれないね。