:wave: チームにいたよ！何でも聞いて。いくつかの見出し - コード品質に関する3000のルーブリック。最初のベンチマークは「このコードは実際にマージされるのか？」 - 20人以上のオープンソースメンテイナーが、自分のリポジトリで意見や好みを反映したタスクを作成。 - データセットには1000時間以上の実際のソフトウェアメンテイナーの作業が含まれてる。さらに、実際の作業をよく検証された構造化されたタスクに変えるために40時間以上の人間の作業が必要だった（タスクやプロンプトをdevin-infra特有からプラグイン可能なコーディングエージェントに変えるのはもっと大変だった）。 - SWE-Bench Proよりも81%低い誤検出率を達成。 - 高品質基準：多くのQAステージがあり、各タスクはCognitionの研究者によって手動でレビューされてる（投稿内に例あり）。Opus 4.8はFrontierCode Diamondで13%のスコア。私の目標の一つは、簡単なタスクでも面白いことをデータマイニングすることだった。例えば、目を細めて見ると「2025年後半に何が起こったのか」の答えが見えるかも。 https://x.com/swyx/status/2064081945567580323

誰も「コード品質」が何かを知らないし、合意もできないから、人間の出力について測るのは疑わしいけど、LLMについて測るのはどうなんだろう。

これ、素晴らしいね。よく考えられていて、評価にたくさんの労力がかかってる。作ってくれてありがとう。良い評価が数千万から数億ドルのコンピュートデプロイメントを生むって、ちょっと驚きだよね。評価やフロンティアモデルの競争には新しさと協力性、競争性があって面白い。今回の「オープンソースメンテイナーが受け入れる短いマージ可能なパッチ」は、世界に届けるべき素晴らしいものだと思う。良いパッチと悪いパッチについて深く掘り下げてはいないけど、swyxやチームの他の人たちが飽和について予測しているか気になる。いつ、どれくらい役立つのかな？つまり、このテストはモデルからより良い行動を引き出すのに十分広いと思う？もしこのテストで飽和が起きたら、一般的により良いパッチやコーディング行動が見られるかな？

すごい努力だし、私のプライベート評価にDeepSWEより近づいてる。偽陰性と偽陽性に焦点を当ててくれてるのが本当にありがたいし、単に合格するだけでなく、実際にマージ可能な品質出力にもっと集中してるのがいいね。あなたのメトリクスのリストを多くの人が基にするのが見えると思う。とてもよく定義されていて、提供されるコードから求めるべきすべてをしっかりカバーしてる。狭いターゲットにだけ焦点を当ててるわけじゃない。私自身のテストにもこれらのアイデアをたくさん取り入れて、他の部分も少し意図せず似た方向に進んでしまったところを磨いていくつもり。

何かダウンロードできるものはある？GLM 5.1はテストされたの？

これをチャートにするのはフェアじゃないよ。「各モデルは、利用可能な推論努力のすべてで5回実行されます。各努力について、5回の試行の平均を取り、その後、各モデルのスコアを最高の推論レベルで報告します。」例えば、Anthropicの「ミディアム」は、OpenAIの「ミディアム」の3倍の思考を要するかもしれないし、5倍の時間がかかるかもしれない。だから、結果が歪んじゃってるんだよ。線形で同等の範囲だと仮定してるけど、リンゴとリンゴを比較すべきだよ。タスク完了時間を「努力」の指標として考慮に入れるべきで、AI会社が提供する恣意的な努力設定じゃない。基礎的な努力レベルはどうでもいい、同じ時間で複数のモデルの中でどれがより正確にタスクを完了するかが大事なんだ。トークン消費量も考慮すべきだね、TPSを排除するために。でも、最終的な生産性が目標なら、主な要素はどれが早くやるかだよ。コストが気になるなら、トークン数とスピード、あるいはトークン数だけが主な要素になる。第二のチャートはもっと明確な絵を描いてるけど、GPT 5.5 xhighは21kトークンで44.7%、Opus 4.8 maxは75kトークンで49.9%だ。つまり、Opus 4.8の4倍のトークンで5.2%の増加があったってこと。もしGPT 5.5 xhighを同じタスクセットで4倍ループさせたら、49.9%を超えるかな？それが本当の質問だよ。多分超えると思うけど。この全体のフレーミングがOpusが大きなリードを持ってるように聞こえるけど、実際にはもっとハードにループしてトークンを消費してるだけなんだ。彼らの努力レベルは同等じゃない。さらに進めて、Anthropicが裏でやってることを模倣してみて。複数のプロンプトを通してプロンプトを実行し、最終結果に収束させる。GPT 4にベンチマークの異なる側面をカバーする一般的なスキルを与えて、同じトークン数を使うために4倍実行して、それぞれの異なるスキルを使う。結果はどうなる？多分Opusを圧倒すると思う。最終的には、Anthropicはすべての膨張を一つの遅いパッケージで提供してる。GPTは自分の同等のハーネスを作る能力を与えてくれる。自分でやる自由と柔軟性がある方がいいな。人々がオープンソースの周りに強力なハーネスを構築することに集中すれば、閉じたラボと同じレベルで競争できるモデルが出てくると思う。特に、今はNemotron 3 Ultraのようなモデルがあるからね。でも、それには小さくて速いモデルを使ってルーティングや「スキル」やプロンプトを決定するのを手伝うなど、たくさんの賢いアプローチが必要だ。特定のタスクのさまざまな側面を協力的なツリーで処理するために、すべての専門的で速い小さなモデルのパイプラインを使用する。未活用の専門AIモデルがたくさんあるのに、誰もそれらの周りにハーネスを構築していないのが信じられない。例えば、セマンティックコード重複検出とかね。すべてを大きなモデルでやる必要はない、大きなモデルはすべてのツールや小さなモデルのオーケストレーターであるべきだ。これが、大きなラボが誰にも破れないリードを持っている理由だよ。彼らは単にモデルを構築して終わりにするわけじゃなくて、大きなモデルの上にこれらの他のアプローチを活用してるからね。今、強力なオープンソースモデルがあるから、私たちもこれらのことを構築し始めることができる。

自分たちのモデル（SWE-1.6）がひどいスコアを出してる時点で、正直なベンチマークだってわかるよね。

Opus 4.8の低は8.2%、ミディアムは5.9%っていうのは、少なくとも興味深い結果だね。

新しい、もう飽和状態じゃないベンチマークを作ろうとしてる努力がいいね。モデルがそれを完璧にこなすとちょっと疑っちゃうけど。OSSのメンテナーの好みに合うようになるのは質の向上としてはあり得るけど、毎回うまくいくなら、暗記してるんじゃないかって思う。FrontierCodeがこれをやるべきだったとは言わないけど、インタラクションのベンチマークを取るのは面白そうだよね。つまり、もしブロッキング問題があって、コメントを書くことで解決できるなら、それはモデルが壁にぶつかるのとは全然違う。もっと言うと、問題があっても、モデルが事前に短い質問リストを出してくれれば、あまり時間を取られずに解決できる。ユーザーやレビュアーみたいに振る舞うように指示されたLLMをループに入れて、プロンプトにはなかったルーブリック的な情報を与えればいいんじゃないかな。その後、擬似ユーザーがそのモデルで質の高い結果を得るためにどれだけのことをしなきゃいけないのかを見てみればいい。『インタラクションを心配する必要はない、目標はモデルが完璧にこなすことだ』って言うかもしれないけど、そういう理想の状態は存在しないと思う。タスクは大きくなるけど、インタラクションは常に必要だからね。コメントを処理したり、必要なときに良い確認質問をするのは本当に大事な能力だよ。人間のソフトウェアエンジニアはたくさんインタラクションするし、実際のエンジニアリングには要件や好み、その他の漠然とした大きなことについての質問がたくさんあるから。

新しいタイプのベンチマークがあればいいのに…タスクの完了に焦点を当てるんじゃなくて、モデルがアシスタントとしてどれだけうまく機能するかに注目するやつ。私の仕事では、E2Eを通じて広範なドキュメントやユーザーストーリーを提供しても、モデルが質の高いアウトプットを出すのを信頼できないんだ。彼らはできないし、18ファイルの変更をレビューするのは私の負担を増やすだけ。そう、私たちはすでにドキュメントを分割して最適化して、文脈を圧倒しないようにしてる。これを実現するためには、みんなで計画を立てて、エッジケースを見つけて、レビューのスキルを持ち、反復して、変更を説明するビジネスロジックに焦点を当てたドキュメントを作成して、そこからコードの変更セットに焦点を当てたドキュメントに反復していくのがベストな流れだよね。そしたら、モデルがやった編集を一つ一つレビューしたい。平均して、これが大きな変更にかかる時間を3倍にするけど、ビジネスロジックの正確さやコードの質が大幅に向上するし、将来的にメンテナンスがかなり少なくて済むから、結局は一方での利益と、もう一方でのハーネスの改善（より質の高いコード、適切な情報、将来のモデルのための良い例）につながるんだ。問題は、モデルがこの種の作業がどんどん下手になってきてること。明らかに能力は向上してるのに、Opus 4.7とOpus 4.8の間でフィードバックループが明らかに悪化してる。これは私にとって非常に残念で、モデルがプロンプトから最終結果までを自分で出すように強化されていく一方で、私がますますループから外されているのがはっきりしてる。これがフラストレーションを増やして、私の仕事を遅くしてるだけなんだよね。