バックアップテストについてはちょっと意見が違うな。オーパスのフラミンゴは実際にペダルとシートがあって、機能するスポークとクチバシもあるんだよね。物理的な現実に対する適合性で言えば、Qwenは完全に外れてると思う。なんで誰かがQwenの出力を好むのか、ちょっと不思議だな。例としては、Qwenがペリカンに対して過剰適合してるかもしれないってことを（ぼんやりと）示唆してる気がする。

「楽しさ」の要素は理解できるけど、今のところこのペリカンが何を証明してるのか本当に疑問だね。プロバイダーは望めば適応できたはずだし、モデルが潜在的な分布外のコンテキストにどれだけ適応するかをテストしたいなら、同じ動物ばかりじゃなくて、いろんな動物と異なるアクティビティタイプを混ぜる方が価値があるかも（スケボーに乗ったクジラとか）。

コーディングに関しては、Qwen 3.6 35b a3bがパワーランキングタスクの11/98を解決したのに対し、同じサイズのQwen 3.5は10/98だった。だから、せいぜいほんの少し改善した程度で、Qwen 3.5 27b dense（26解決）やオーパス（95/98解決、4.6）には全然及ばないね。

それは驚きじゃないね。オーパスとソネットは、私たちのテストでは4.1リリース以降、多くの非コーディングタスクで後退してるから。

私はイグアナで、自転車を洗車場で洗う必要があるんだけど、歩いて行くべきかな、それともバスに乗るべき？

今日、スライドの図を更新しようとしてジェミニに時間を無駄にしたのが本当に残念。ワンショットのジョークは面白いけど、「それは近いけど、この小さな変更をしてほしい」って言うのが不可能に思える。おもちゃとツールの間のギャップだね。

コンピュータの使い方のトレーニングにもう少し時間をかけてほしいな。このモデルは、写真の中の単純な物体の正確なx,y座標を見つけることができないんだ。

このベンチマーク大好き！

そもそもそんなデモが何を証明するのか分からない。LLMはトレーニングされたことに関しては得意だけど、通常のタスクとは違うからね。SVG生成は、LLMに求められるタスクのアナロジーにはならない。初期のモデルは、トレーニングに悪い例しかなかったから下手だったんだよね。ある時点でモデル会社がSVG生成がそこそこできると良いPRになると思って、たくさんの例をファインチューニングに追加した結果、今の状態になった。まだ何かに役立つほどには上手くないし、そういう改善が他のことに役立つわけでもない、むしろ逆かも。でも、かわいいデモにはなるよね。最初はモデルサイズの効果を示すためのバカらしい方法だったかも。でも、最大モデルのサイズはしばらく前から増えてないし、最近の改善は特定のタスクの最適化が主な理由だからね。もし秘密のタスクがあって、それに対してトレーニングしてないことが分かってたら、モデルの改善具合を評価する基準にできるかもしれないけど、これはそうじゃない。

みんながこれに対してテストしてるのに、どうしてこれがテストになるの？モデルリリースのたびにこれを繰り返すけど、ほんと馬鹿げてる。