それに、正直でいたいと思っても、今のところ、ほとんどの公的または半公的なベンチマークはCommonCrawlの一部になってるんじゃないかな。

グッドハートの法則が面白いのは、人々があなたの指標を最適化しようとすればするほど、全く異なる二つの問題の間をスムーズに移行することだよ。一つは測定の問題で、世界がどうなっているかを示すもの：あるエンジニアが特定のコーディングタスクの何ステップを何時間で終えられるかは、採用される確率に繋がる。測定しているものは逃げたり隠れたりしないから、事実はあなたを誤解させるための意識を持った存在じゃない。測定の問題は統計や最適化の問題で、その目標は関数f: 状態 -> 予測。あなたの問題は通常、数学の問題じゃなくて入力の問題だよ。でも、規模が大きくなって、テストを操作することが価値を持つほど、測定の問題から離れて、敵対的な問題に直面することになる。敵対的な問題は、相手が賢いほど難しくなるし、市場の見えない手が相手になると、さらに厄介になることもある。もう勾配降下法の世界にはいないよ、だって景観は固定されてないから。今はゲーム理論の世界にいて、目標は関数f: (状態) x (時間) x (敵対的能力) x (関数fの履歴) -> 予測。最後の再帰的な部分が、敵対的な問題を brutal にしてるんだ。非常にシンプルな関数でも、わずかな再帰を許すだけで、極めて深いカオス的なダイナミクスにすぐに至ることがあるからね。f(x) = 3.5x(1-x)のような素敵な関数でも、混乱のエルゴード的な塊になる。

公に出ているものを信じるのは本当に難しいよ。 LLMにそれを入力して、意図せずバイアスをほのめかして、ほら、研究や最新のメトリクスを使って、あなたが望むことを証明するんだ。 > 本当に信頼できるテストは、自分で書いて公開せず、オープンモデルで100%機能するものだけだよ。これが十分ならそれでいいけど、オープンモデルでクローゼットの中でやってると、自分のバイアスが出てくるよ。議論やキュレーションされた証拠だけが重要だったら、どんなテストも無効だよ。すべてのテスト、プライベートでもパブリックでも、歴史的に欠陥のある理論を証明してきた。真実は常に捉えにくく、攻撃されてきた。人々はいつも何かを信じるんだ。データは既存の信念や作り上げた信念の基盤に過ぎない。結局、信仰が全てだから、信仰がなければ何もない。

うん、LLMのベンチマークに関するニュース記事は全部無視してる。「GPT 7.3oがX2FGT AGIベンチマークで50%以上のスコアを初めて達成」って、情報ありがとう？って感じ。

責任に関する社会的な問題もあるよね。もし自分のモデルが最高だって主張して、実際にはベンチマークを過剰適合させて68位だったら、詐欺で評判はかなり落ちるべきだよね。それが起こらないなら、ベンチマーク以上の深刻な問題があるってことだ。

AIのパフォーマンスを評価する選択肢は、ベンチマークか雰囲気だね。ベンチマークは持っておくとすごくいい選択肢だよ。

スタールマンはずっと正しかった。

それって、かなり低いハードルだね :)

(a) いや、違う (b) あなたのコメントは全然話がズレてるよ、彼はどんな意味でも終末論について触れてないから。