この文脈では、スキャフォールドは実際のモデルを囲むハーネスのことだと思います。例えば、ツールやタスクの配置方法、自動批評のメソッドなどです。スキャフォールドによってモデルのパフォーマンスにかなりのばらつきがあると思うので、比較はいつも少し曖昧ですね。

ポール・エルデシュについて読んでみて。数学はリーマン予想だけじゃないし、いろんなことをつなげる地道な作業もあるんだよね。

数学者がその問題に詳しくて積極的に取り組んでいる数は、現代数学の研究がすごく専門的だから、誰が似たような問題に取り組んでいるのか把握しやすいよ。お互いの論文を読んだり、同じ会議に行ったりするしね。「専門家が問題を解くのにどれくらいかかるか」という質問については、本当にオープンな問題に関しては、解決されるまで自信を持って答えるのは難しいと思う。でも、一度解決されれば、経験のある人はどれくらい時間がかかったかをよく分かっているよ（ただ、多くの人は必要な時間を過小評価しがちだけど、予期しない課題に直面することが多いからね）。

確かに、あなたが見ている問題にどれだけの人が取り組んでいるのか、そしてそれを解くのにどれくらいの時間がかかるのかを知ることは、研究者として働く上で重要なスキルだよね。どんな答えを求めてるの？定量化するのは難しいよ。ほとんどの人は、博士課程の学生の時にこの評価が苦手で、時間が経つにつれて上達していくんだ。

冗談かもしれませんが、現実からそんなに遠くないと思います。もっと多くの人がAIが数学の問題を「解決」するというこのナンセンスに疑問を持つべきだと思います。人間の関与に関する詳細はいつも曖昧で、問題の重要性はほとんどの人には不透明です。私たちは、ここで何か奇跡的なことをしているというセンセーショナルで強く暗示された考えからは、かなり遠いです。

明日もう一度リファクタリングを試してみて。もしかしたら、簡単になってるかもしれないし、逆に難しくなってるかもしれないよ。

だから、コンテキスト管理がすごく重要なんだよね。トークンを無駄に使うと、AIが高くなるだけじゃなくて、パフォーマンスも悪くなるかもしれない。コンテキストサイズが大きくなっても、これは関係してくると思う。特に、AIプロバイダーがいつでもトークンの価格を引き上げる可能性があるからね。

冗談でしょ？でも、もしかしたら本当かも？数学の多くの分野は、まず第一に、信じられないほど難解でアクセスしづらいんだよね（他の数学者にとっても）。この件について、著者は解こうとした人が5～10人くらいしかいないかもしれないって言ってた。さらに、著者は、資格があってちょっと頑張れば解ける問題だと信じているみたい。ソフトウェアエンジニアリングでは、もし世界中で特定のプログラムのアイデアに触れたのが5～10人だけなら、その実装が存在しないのも驚くことじゃないよね、複雑さに関係なく。やりたいと思っても、他のことに気を取られて完成できなかったソフトウェアがたくさんあるし。もちろん、こうやってコードを書いたり数学を解いたりできるシステムがあるのは奇跡的なことだけどね。