誰かがそのバージョンを使って何かを作ってるかもしれないから、新しいモデルに置き換えたくないんだよね。

82.2は他のモデルの「正解率」に対応してるのかな？OpenAIがO3を更新したかは分からないけど、リンクされた表を見ると「純粋な」o3（high）は79.6%のスコアがあるみたい。「o3（high）+ gpt-4.1」のコンボが最高スコアの82.7%だね。前のGemini 2.5 Pro Preview 05-06（そう、今の06-05じゃない！）は76.9%だった。これは結構いい上昇だね！でも、これらのAiderのベンチマークは今のところ一番役に立つ/信頼できるベンチマークみたいで、実際に注目してるのはこれだけだよ。

それは今日の新しいプレビューじゃなくて、古い05-06のプレビューだよ。

でも、めっちゃ安くて早い。すごいよね。

あの日付は曖昧だから、13日まで待たなきゃいけなかっただろうね。カナダでは、見かける日付の1/3がイギリスのもので、もう1/3がアメリカのものだから、ほんとに混乱するよ。ありがたいことに、y-m-d形式が今や合法なフォーマットになって、少しずつ浸透してきてるみたい。

エンジニアって、意外と物の名前を付けるのが下手だよね！

最後の2つの日付は05-06と06-05で、明らかにOpenAIの4oとo4モデルを挑発してるね。

いつになったらGemini 2.5 ProからGemini 2.6 Proに移行するんだろう？Gemini 3はもっと大きなモデルになると思うけど。

ほとんどのベンチマークはコーディング関連だね。Claudeが高いのはSWE-Benchだけみたい。どのベンチマークが実際の仕事を最も代表してるかは難しいけど、コミュニティはAider Polyglotを好んでるみたいだね。

同意する！プログラミングに関しては、Claudeが一番いいモデルだと思う。LLMを使うのはそれだけだから。

o3をその問題に使ってみた？私の使い方では、o3はOpus 4よりもずっと優れてると思うよ。

o3は、ほとんどの場合でOpus 4よりも好きだな。先月だけでAIコード生成ツールに何百ドルも使ったけど、私のランキングはこんな感じ。1. o3 - ニュアンスを捉えるのが本当に上手で、目標の核心に迫るし、質の高いプロダクションレベルのコードに近いものを書いてくれる。唯一の欠点はカットオフウィンドウとコスト、特にツールへの愛が強いところ。私がやってるRailsプロジェクトではあまり大きな問題にはならないけど、時々はそうでもない。2. Opus 4 via Claude Code - これも本当に良いし、o3が高いから日常的に使ってる。よくOpus 4にプランと初期案を考えてもらって、それからo3にフィードバックをもらって本当に良くするようにしてる。3. Gemini 2.5 Pro - この最新リリースはまだ試してないけど、先週まではこれが私の前の2位だった。今はSonnet 4と同じくらいか、ちょっと良いかも。状況によるけどね。4. Sonnet 4 via Claude Code - 悪くはないけど、良いコードを作るにはかなりの指導と監視が必要。放っておくとたくさんのコードを生み出すけど、具体的なプロンプトや修正なしでは質が高くて簡潔で考えられたコードにはならない。私はコードの質やプロジェクトの整理に関して非常にこだわりがあって、命名や再利用性などの小さな詳細にも気を使ってる。先月のCursorの統計から提案されたコードの33%しか受け入れないよ。最適でない道に進む前に、プロンプトを見直して戻ることが多い。

私の経験では、これはケースバイケースでかなり変わる。あるケースではGeminiが問題を解決してくれたけど、次のケースでは簡単なバグも解決できなかった。o3やSonnetも同じ感じ（4.0はあまり試してないから意見はまだないけど）。もっと良い並行評価のサポートが必要だと思う。すべてのトップモデルを評価して、最適な解決策を選べるように。

そうは言っても、リーダーボードがモデルの能力を正確に表しているとは疑い始めている。ここでもGoodhartの法則が当てはまるね。これらの企業がモデルを作るためにどれだけお金を注いでいるかを考えると、なおさらそう感じる。

今週、Claude 4とGemini 2.5に同じタスクを与えてみたんだけど、Geminiが正しい解決策を出して、Claudeはダメだった。これらは難しいタスクじゃなくて、例えばSQLクエリのリライト前後の比較とかだったんだけど、Geminiはちゃんとした問題を見つけて、Claudeは「全部大丈夫」って言ってた。

最近の新しいリーディングモデルに特に感心するには、全てのベンチマークが不正確または無関係だという意見を持つしかないと思う。モデルが本当に何光年も先を行ってるのは雰囲気や逸話の部分だからね。そうじゃないと、例えばlmarenaの数字を見て、2023年11月の時点でgpt-3.5-turboがこの新しい世界トップモデルに対して約16%の好まれる勝率を主張してるのを見てしまう。

しばらくするとGeminiはぐるぐる回ったり、実際に（こんなの見たことない！）諦めて「できません」って言ったりするんだ。マジで、対話を見る方法とか、このシナリオを再現する方法はないの？

Opus 4が私にとって「美しい」コードを初めて生成したモデルだって気づいた。シンプルで読みやすく、コメントで汚れてなくて、余計なものがない、ただきれいでクリーン、機能的なコード。久しぶりに「わお」って思った瞬間があった。ただ、時々本当にバカなことをすることもある。完全にアホなことね。「なんでこんなバカなことしたの？」って聞くと、「ああ、そうだね、これは超間違ってるよ、実際に動く賢い解決策はこれだよ」って返して、すごいコードを作り始める。あの機械がどう動いてるのか全然わからない。

AI StudioはAPIを使ってるから、レート制限がめっちゃ高くて、普通の人が有料プレビューモデルを使ってもほとんど到達できないと思う。

Geminiの方がchapgptより断然好きなんだけど、最近プロプランで1日に100メッセージの制限ができちゃったんだよね :( aistudioはまだ大丈夫かも。

「ネット全体がGeminiにすごく期待してるみたいだけど、私の個人的な体験とは全然違ってて驚いてる。陰謀論者みたいに聞こえるかもしれないけど、Gemini周りにはちょっとしたアストロターフ活動を感じる。」Claudeは使ったことないけど、GeminiはChatGPTやCopilotに比べて一般的な質問にはいつも良い答えを返してくれる印象がある。私の印象は間違ってるかもしれないけど、Geminiは検索の代わりになるような状況では優れていると思う。コマンドラインでこれをどうやるの？この製品について教えて、などの質問には、Geminiの方が良い結果が得られることが多いよ。

AiderではSonnetとGeminiを頻繁に切り替えてる。なぜか私のコーディングの問題の中には、どちらか一方のモデルしか解決できないものがあって、特定のニーズに対してどれを使うべきかのパターンが見えないんだよね。

私の経験では、Geminiのコード（会話も含めて）は全体的にちょっと見栄えが悪いけど、求めた問題を解決するのに、幻覚が少なくて済むことが多い。今はあまり言えないけど、最近は主にClaude CodeとOpus 4を使ってる。

以前のGeminiモデルは、Claude 3.7 Sonnet（4よりもずっと劣る）と比べても、私のコーディングアシスタントとしてはあまり良くなかった。あなたのユースケースは何？私の経験とは全然違うな。Claudeはデータサイエンスや複雑なETLリクエストに関しては失望させるけど、o3は本当に素晴らしいよ。

弁護士として言うけど、Claude 4は最高のライターだし、通常は法的推論のリーダーでもある。ただ、o3はしばしば最高の回答を出してくるし、Geminiは最も徹底的なリサーチャーのように思える。

どちらもかなり互換性があると思うけど、Roo CodeではClaudeがツールをうまく使ってるね。でも、私はGeminiのコーディングスタイルと簡潔さが好き。コメントは多すぎるけどね。時々、どちらかが失敗したり、嫌な方向に進んだりしたら、ミックスして使ったりするよ。

ChatGPTを使ってて気づいたんだけど、特定の指示を100%無視することがあるんだよね。これって単にLLMの特性なのかな？例えば、ChatGPTに「エムダッシュやエンダッシュを使わないで！」って大声で叫んでも、逆にもっと使うようになる。実際、1回も成功したことがないんだ。最初に無視された後に「同じことをもう一度出力して、でもエムダッシュやエンダッシュはなしで！」って言っても、全然ダメだった。ちゃんと試したわけじゃないけど、12回くらいの試行での経験から言うとこんな感じ。

Geminiは、意味のないバカみたいなインラインコメントを追加するのが好きだよね。「# この機能を追加しました」「# 問題を修正するためにこれを変更しました」って。いや、知ってるよ、私もそこにいたんだから！これはコミットメッセージのためのものであって、1つのPRでしか関係ないコメントじゃないんだよ。

Geminiが間違えた明確な例があるよ：こんなコードの場合、processing_class=tokenizerを「tokenizer=tokenizer」に変え続けるんだ。パラメータ名が変更されたのに、全大文字のコメントを追加しても変わらない。

SFTTrainerを設定する

print("SFTTrainerを設定中...") trainer = SFTTrainer( model=model, train_dataset=train_dataset, args=sft_config, processing_class=tokenizer, # 変更しないで。これが正しいプロパティ名です。 ) print("SFTTrainerの準備完了。") この最新バージョンでは試してないけど、05-06プロはまだ間違ってた。

OpenAIは今年の終わりまでに120億ドルの収益を予測してるみたい。Googleがうまく立ち回ってるのには同意するけど、OpenAIが持ってるマインドシェアや製品のアドバンテージは、すごい余裕を与えてくれるよね。

OpenAIは今年127億ドルの収益を予測してるし、2026年には294億ドルになるみたい。編集：俺はバカだから、投稿の後半は無視してね。

現在、画像生成に関してはOpenAIが明らかに優れていると思う。イラストや漫画、家庭プロジェクトのアイデア出しのための写真編集とかね。

たとえAIレースで勝っていても、彼らの検索ビジネスは結局食われることになるだろうし、市場競争のおかげでAIから経済的利益を得られるかどうかも不透明だよね。もちろん、競争せざるを得ないけど、彼らはおそらくAI以前の疑いのない独占状態や広告の視聴者を持っていた方が良かったと思ってるだろうね。

たとえ3000億ドルの評価でも、典型的なウォール街のアナリストは2倍の売上で評価したがるだろうから、OpenAIが上場する時には年間売上6000億ドルを期待することになる。笑っちゃう、これどこから持ってきたの？Microsoftはその半分以下の収益しかないのに、OpenAIの10倍以上の評価を受けてる。収益はこれらの企業が評価される基準じゃないんだよ…。