Q3.6 27bのユースケースがどんどん増えてる（同じリーグで）。一番いいパフォーマンスは、質問の答えがすでにコンテキストにあるとき。オープンエンドや野心的なことを試すと、ClaudeやChatGPTの方が早くゴールに連れて行ってくれる。でも、知識ベースを構築できるタスクでは、ローカルのLLMが本当に競争力があると思う。大きなコンテキストがあって、何度も埋める心配がないから、かなり進めるよ。これを書いてるのは、まさにパスタを作ってる合間で、ローカルのLLMがオンラインで注文した商品についてなんだ。冷蔵庫に何があるか（ざっくり）や、最後の10回の代表的な注文（一般的な好みや周りの店やSKUに関する情報）を大体把握してるように、食材の買い物スキルを作ったんだ。最後の部分は、料理材料の配達を約束するすべての製品に対する俺の個人的な不満だった。これが、エージェントを持つ大手テック企業が約束してきたことで、今やローカルのLLMがそれを完全に解決してくれた。

それは本当だね。失敗のパターンがシンプルだし、上限も低い。小さいモデルは長いシーケンスでの安定性が低いから、CoTがたくさん必要なものは弱くなる。例えば、N生産者1消費者のキューで、複数の目覚ましを失ったときの防御策として、ダムロック+条件変数を使ってたんだけど、モデルはセマフォに切り替えられることに気づくまでにたくさんのCoTが必要なんだ。Qwenはそんなに長いCoTでは安定してなくて、どんどんスロップやバンドエイドを追加しちゃう。一方で、大きなモデルは大きなCoTを出力して、セマフォを使えば2行で3つの機能を切り替えられることに気づくんだ。

それは一貫して失敗するだろうね。Claudeを呼ぶとき、どのバージョンのモデルと話してるか分からないし、ロード中に量子化されてるか、パッチが当たってるかもしれない。

これ前にも言ったけど、これらの最上級モデルは賢くて複雑なコードを書くんだ。上から見ると知的に見えるけど、メンテナンスが大変。将来の開発にとって脆弱になる。小さいモデル、特に前述のものは、もっと失敗するけど、あんな狂ったコードは書かない。人間みたいにシンプルで賢くないコードを書くから、メンテナンスや拡張がずっと楽。Qwen-3.6-27bは素晴らしいモデルだよ。サイズに対して非常に優れていて、全体的にも素晴らしい。今はmtpが使えるから、1枚の3090で60トークン/秒以上も出せるし…これはほとんどの巨大データセンターから提供されるものより約30%速いんだ。

これに関してあまり経験がないから、ちょっと素朴な質問をするけど、ローカルのLLMをClaudeに接続して、もっとClaudeっぽい結果を得られる世界ってあるのかな？もちろん、パフォーマンスには大きな違いが出るだろうけど、これが実現可能なところに近づいてるのかな？答えは「まだ」や「でもすごく遅いよ」とか、「実際にはあまり意味がないよ、だって『Claudeが得られるもの』はAnthropicのモデルにしっかり組み込まれてるから、それが料金の一部なんだよね」って感じかな。

みんながpiハーネスについて話してるのをよく見るんだけど、これはどういうこと？

大きな研究所は自分たちのモデルが兆パラメータだと見せかけたがるけど、Qwen 3.6 35B A3Bが彼らのパフォーマンスにこれほど近いのに、本当にそうなる可能性はどれくらいあるのかな？最高の研究とトレーニングデータを使えば、60Bモデルで簡単にトップに立てるはずだと思うんだけど。

Tenstorrentカードのソフトウェア互換性はどうなの？ベンダーが提供するランタイムやモデルを使わざるを得ないのかな？値段を考えると、これらの問題があまり出てこないのは驚きだね。

新しいハードウェアプロバイダーを使うコストだね。単体のRTX Pro 6000 Blackwell Max-Qの方が性能が良くて、使いやすいよ。俺は2つのDS4 Flashを160 tok/sで動かしてて、最大シーケンス数は4。これらのTenstorrentチップは非常に興味深いね。実験用に1つ買ってみるかも。