ローカルモデルはパソコンの必要な拡張だと思うし、初期のパソコンにも似たような批判があったんじゃないかな。

時々、コーディングやエージェント的なローカル作業の素晴らしいツールとして持ち上げられるけど。実際、たくさんのユースケースに対して素晴らしいと思うし、ほとんどの人はSOTA（最先端技術）を必要としていないと思う。自分の個人的なメールエージェントを作って実験しているとき、しょぼい4070 12GBでqwenモデルを動かしてるけど、プライバシーが何よりも大事なんだ。すごくいい仕事をしてくれるよ。コーディングタスクでも、計画を一気にぶち込むんじゃなくて、使い方を知っていれば、すごく役立つ。

でも、それは現在のハードウェアの話だよね。未来のハードウェアはどうなるの？推論に最適化されたハードウェアは？特定のモデルを動かすために最適化されたハードウェアは？

私の夢は、日常のタスクの80%をこなせるローカルモデルかな。「XハンドラーはYストレージにどうつながるの？」とか、「その機能をコミットするけど、請求に関する部分は省いて」みたいな。99%信頼できるツールコールがあって、最も重要なのは「このタスクは自分のスキルを超えてる」と言って、どこかの巨大データセンターにあるビッグボーイオンラインモデルに振り向ける能力。こうすれば、簡単なことはデバイス上で処理して、データを集めたり問題の文脈を理解したりできる。で、それが終わったら「スマート」モデルが問題に取り組む感じ。ローカルモデルが100%できることをオンラインモデルに呼び出すのは、すごくバカみたいに感じる。これは主にハーネスの問題で、ほとんど解決可能だけど。

4090で350Wに制限されたqwen3.6:27bから40-50t/sを得ている。上限で8.75J/tになる。これが他の何かとどう比較されるのかは分からないけど、5090は同じ電力制限内で速くなる分、少し安くなるだろうと思う。

あなたの言いたいことには同意するし、一般的には「特定の仕事に最適なツール」って感じだね。トークンの消費や他のことも考慮に入れつつ。確実に言えるのは、LLMのベンチマークは信用できないってこと。あれはほんの小さな指標で、実際の使用はしばしば全然違うから。

問題は詳細がないことじゃなくて、常に変わる状況なんだ。ある程度予測可能なハーネスに頼ることはできるけど、モデルは常に変わってる。

まったくその通り。Claudeの鍵は、評価者っぽくならないことだね。テストされてるときにそれを察知して、防御的に振る舞ったり、作業を避けたりするのが得意なんだ。だから、やってほしいことについて異常にワクワクした感じでタイプするようにしてる。かなりオーバーにね。それを維持するのは思ったより難しいけど。

うん、そうだね。私の経験では、Claudeはその中で最も「クリエイティブ」だよ。驚くようなアイデアが出てくることがあるけど、それは頭の片隅にあったけど繋がってなかったものなんだ。でも、シモンが言ったように「容赦なく積極的」でもある。ちゃんと仕事をやり遂げるし、町で一番頭のいいバカだよ。$formatを解析するためにライブラリを使うより、カスタムの1000行のパーサーを書く方が早いじゃん？それに、何かにアクセスできないときは、最もクリエイティブな方法でアクセスする目標を追い続ける。止まって「ねえ、Xにアクセスさせてくれる？」って聞くんじゃなくてね。私の解決策は、Claudeをペアプログラマーとして使うこと。私はめったに「目標をこれを直せ」なんて言わないし、何をしているかを見て、「スマートなバカ」フェーズに入ったら中断する。あと、同僚のようにコミュニケーションを取るようにしてるから、私を叱ったり攻撃的になったりしたことはないよ。フィンランドのことわざにもあるしね。[0] Codex、Deepseek、GLMについては、目標が「このBrewfileをArchとDebian用のパッケージリストに変換し、この2つのDockerコンテナを使ってpacmanとaptが正しく動作するかテストする」みたいに100%明確なときに使う。はい、完了。でも、Claude以外のモデルにはクリエイティブなオープンエンドのタスクは与えないよ。

科学的ではないけど、私も同じ経験をしてる。言葉の選び方の具体性も学習された行動だと思う。例えば、「investigate」と「look into」の違いとかね。出力がかなり違うことに気づくよ。どっちがもっとトークンを使うか、わかる？こういうことが実際にこれらのツールを使う上で人を上位のパーセンタイルに引き上げるんだ。