どれくらい速いかによるね。もしLLMがどうせ間違えることが多いなら、プロンプトを素早く試して、それを繰り返すことが、遅いけど質の高い出力よりも価値があるかもしれない。極端な例を挙げると、もしミリ秒でプロジェクト全体を処理できるなら、同じことをするのに1日かかるプロセスよりも、成功の可能性がどう影響されるかに関わらず、私にとっては遥かに価値がある。これは、インタラクティブな作業方法を可能にするし、何かを作業しながら3つの異なる提案を同時に出すこともできる。待たなきゃいけないプロセスとは違ってね。レイテンシーはユーザー体験だけでなく、ツールの使い方にも重要な影響を与えるから。で、Grokを試すかって？絶対にないけど、それはXとは関わりたくないっていう個人的な理由からで、純粋に合理的な決定ではないんだ。

正直、ちょっと意見が違うかな；HTMLを大量に生成するような特定のユースケースでは、スピードが本当に重要だと思う。ただ、これが真面目なことに対してさらにジョークに見えるのは同意するけど。コストは下がるけどね！

それはxAIが考え出した最悪の指標からはほど遠いね… https://xcancel.com/elonmusk/status/1958854561579638960

何に使うかによるね。シンプルな関数（文字列操作、関数定義など）のオートコンプリートの場合、質の基準はかなり簡単にクリアできるし、スピードも重要だよ。もしただ雰囲気でコーディングしてるなら、質が欲しいけどね。でも、自分が何をしてるか分かってるなら、賢いけど遅いモデルをちょっと修正しなきゃいけないより、バカだけど速いモデルの方が流れに乗りやすいことが多い。遅い推論モデルだと、他のエンジニアと一緒に作業してる感じで、PRでコードをレビューしなきゃいけないから。

ある程度はね。もしgpt5が出力に3分かかって、qwen3が10秒で終わって、エージェントがgpt5よりも先に5回繰り返して完成できるなら、gpt5が一発で出したからって何が気になるの？qwenが5回繰り返したとしても。

Grok 3に基づいているのか、それとも別のものなのか、ちょっと気になるな。Grok 3からはまあまあな答えが返ってきたから。もしそうなら、Grokや他のモデルに共通するコツは、全てを一度に聞くんじゃなくて、順番に少しずつ聞くことだよ。一部のモデルは「一度に」アプローチが得意だけど、俺や他の人がステップごとに聞いたときは、ずっと良い結果が出た。Grok 4についてはまだどう思うか決めかねてるけど、あんまり感心はしてないな。

速さは絶対に重要だよね。もちろん質がゴミなら意味ないけど、Claude Sonnet 4と同等で、かつ非常に速いモデルがあれば、エージェントコーディングにおいては絶対にゲームチェンジャーになる。今はプロンプトを作って送信したら、待って、また待って、さらに待って、しばらくして（30秒から数分後）エージェントが仕事を終える。別のことに切り替えるには短すぎるけど、イライラするには十分な長さで、その待ち時間が一日中積み重なる。毎回のプロンプトが数分かかる可能性があると知ってると、実験もしづらくなるよね。もし数秒で終わるなら、もっと早く繰り返しできるのに。特にフロントエンドの世界では、UIコードを何度も調整することが多いから、これは特に価値があると思う。

ソフトウェアエンジニアの間では、トークンの質がトークンの出力速度よりもずっと重要だというのは、論争の余地がない見解だと思ってた。ほとんどのソフトウェア分野では、速さ（早く終わらせること）が100%正確よりも良いことはもう分かってる。

Cerebrasの無料API（提携はしてないけど）を試してみたんだけど、Qwen Coder 480bとgpt-oss-120bで驚異の約3000 tpsを出すんだ。この出力速度は、モデルを選ぶときに最初にチェックしたポイントだよ。Cerebrasがもっと全体的に良いサービスを提供してくれたらいいのに。使用量は1日70Mトークンに制限されてて、みんな簡単にその上限に達して、日常のコーディングにかなり厳しいって報告してる。

エージェント的なワークフローでは、スピードと良いツールの使い方が最も重要だよ。エージェントは設計上、ツールを使うべきで、推論ツールやオラクルも含まれるかもしれない。エージェントは賢くある必要はなくて、ただ誰かに繋がるラインがあれば、その人がエージェントに超詳細な計画を提供してくれるだけでいい。