現代の画像生成モデルは、ペリカンが自転車に乗っている画像を簡単に生成できるよ。でも、このテストの目的は、画像を表すSVGテキストを生成することなんだ。これはもっと複雑なんだよね。ラスタ画像をSVGに変換する方法もあるけど、それに時間を使うのはあまり良くないと思う。

ジェミニペリカンのクオリティは、一回のイテレーションでかなりの変化があったけど、他のベンチマークはあまり変わらなかったから、君の言う通りだと思う。ただ、彼らが特にペリカンを狙ったのか、単にSVGを狙ったのかは分からないけど。

サイモンは記事の中で、ジェフ・ディーンのペリカンが自転車に乗るタスクに関する投稿を引用して、現在のモデルがそれをうまくこなせることから、もうそれが良いベンチマークではないと言っています。そこで登場するのが、電動スクーターに乗ったオポッサムです！

だから、AIラボは結局ちゃんと注目してたのかもね！ > これは主に、ペリカンが自転車に乗ることが有用なベンチマークとしての限界をしっかり超えたことを示していると思う。記事でも認められている通り。

その部分は多分、トークの中ではうまくいくと思う。後でのジョークのための前振りだったから。

私にとって、Opus 4.6のピークは「これが良いって分からない人がいるの？」って感じだった。その後、弱体化して、4.7のトークンが大幅に増えたけど、これは怠惰で幻覚を見やすいモデルだと思う。そろそろGPT5.5を試す時かも。今は多くの人と同じように、アンソロピックエコシステムにかなり投資してるから、切り替える強い理由があると思う。

君の感情的な言葉遣いは本当に興味深いね。ドラッグについてそんな風に話す人を聞いたことがあるよ。

失礼なこと言うつもりはないけど、ちょっと頭が悪そうに聞こえるよ。

これは本当に実感してる。ここ2ヶ月くらいで、ローカル開発用のClaudeがかなり改善されたと思う（ただ、モデルの強さよりも能力を活かすことが大きいと思うけど）。1mのコンテキストは大きな違いだよね（コンパクトだと約30分対2.5時間で、AIにやらせる範囲がかなり広がる）。もう一つの大きな違いは、実際に仕事をするバランスが良くなったこと。AIには、私が言っていることが間違っていると思ったら教えてほしいけど、確認したらそれでもやってほしいんだ。数ヶ月前のClaudeは「これは多すぎるからやらない」とか、「そのアイデアは天才だ」と言って（そして実行するふりをする）か、同じくらい役に立たないことを言うことが多かった。

2025年11月のOpus 4.5は、間違いなく転換点だったし、今の熱狂の唯一の理由だと思う。GPT 5.5はGPT 5.4に比べて大きな改善だけど、転換点とは呼べないかな。

プログラマーじゃなかった私にとっては、以前はPythonスクリプトをアップロードしてこの関数を追加してとか言うと壊れてたのが、今はClaudeやChatGPTモデルでは大体うまくいくようになった。Google Geminiはまだ壊れることがあるけど、すぐに発表される新しいフラッシュモデルはかなり良いって噂だよ。私は普段、CSVファイルのデータを扱って、スプレッドシートやPDFを生成してるけど、その結果は劇的に改善された。

パラドックスだけど、システムがコア能力において限界収益逓減を始めても、複数のインフレクションポイントが得られることがあると思う。これは「しきい値を超える」ことに起因していて、何かが「特定の目的に対して十分良くなる」と、能力が解放されるんだよね。昔の「釘打ち機」は重くて、電源コードも太くて、すごく高かった。軽くなって、安くなって、バッテリーパックができたことで、ある時点からは、屋根工事のプロセスにシームレスに溶け込んで、できる作業が劇的に増えたんだ。そこからのマージナルな改善は、しきい値を超えたから同じ「解放」をもたらさないかもしれない。

変化を感じてる。オートコンプリートツールから、5つのタスクを並行して実行するエージェントに変わった。私が監視するだけで済むから、改善はものすごい。

これ、すごくはっきり覚えてる。Opus 4.5の前は、かなり手取り足取りやってて、自分でたくさんコードを書いてたけど、それ以降はほとんどコードを書いてない。エニグマ暗号機の仕組みを学ぶために少し自分で書いたけど、プロとしては11月以来、コードを書くのをやめた。

純粋に雰囲気だけのコードは通用しないよ。優れたアーキテクチャを定義して、素晴らしい仕様を持って、しっかりした計画を立てて、その計画を小さなフェーズに分けて、コンテキストウィンドウにうまく収まるようにする必要がある。各フェーズの実装にはTDDと自動コードレビューを使って、QAとコードレビューもやるべき。どの時点でも、エージェントが他のエージェントの出力をレビュー、検証、テストして、出力が完璧になるまで反復する必要がある。そして、良いエンドツーエンドテストも必要。私の意見では、1日あたり数千万トークン以上使わないと、ちゃんとやってるとは言えない。

最近、Codex 5.5とClaude Code Opus 4.7を組み合わせて、結構面白いことをやってみたよ。最初に全体のデザインドキュメントを作るのに時間をかけて、それを具体的で限られたフェーズに分けてる。みんなが満足するまでこのドキュメントを行ったり来たりしてるんだ。各フェーズごとに実装計画を作って、最後に何が納品されたか、何が発見されたかをまとめたドキュメントを作る。これが次のフェーズの入力になるんだ。ドキュメントや彼らがやってることもチェックしてるし、テストも確認してる。中にはもっと徹底的にやることもあるし、コードの構造が気に入るかどうかを確認するためにスポットチェックもしてる。主にClaudeをコーディングに使って、Codexはデザインやフェーズ後のコードレビューに使ってる。フェーズ後には両方にテストカバレッジをチェックさせてる。こうやって一行もコードを書かずにツールやライブラリを実装できたから、すごく助かってる。非同期だから、彼らが進んでる間に他のこともできるしね。ただ、これは普遍的ではないと思う。簡単にテストできて、達成したいことがはっきりしているけど、どうやってやるかは必ずしも決まってないものには感心してる。

うまくいった人もいるけど、私にとっては「バイブコーディングゲーム」はまだ普通のサイトやウェブアプリには達してないな。物理、クリエイティビティ、アセット、UI/UXはまだモデルにかなり手助けが必要だし、ポイント＆クリックみたいなインターフェースベースのゲームはやりやすいけどね。

もうちょっと具体的に言ってくれる？

セキュリティ関係の仕事をしてるんだけど、経験があんまりないから、他の人の意見を聞きたいな。

クロード・ミトスのことを言ってるの？

それが良い変化になるかどうかは、まだわからないね。楽観的な見方をすれば、モデルが脆弱性を見つけるのがすごく上手だから、ビルドパイプラインに組み込めば新しい脆弱性がゼロに近づくってこと。悲観的な見方をすれば、今はレビューが少ないジュニアレベルのコードが増えて、全体的に脆弱性が増えるってこと。しかも、見つけるのが安くて簡単だから、混乱を覚悟しておいた方がいい。短期的には、モデルが古いバグを見つけるのに十分なレベルだから、どちらにしても混乱は避けられないだろうし、Mozillaがやろうとしているように、みんなが先を行こうとするリソースや意欲を持っているわけじゃないからね。

オフィスのClaudeは、周りの非技術者にとっての転機だったよ。みんなのスライドデッキが完璧になった。ファイナンスもBIの助けがほとんど必要なくなったし、かなり印象的だね。

ビジネスでは、コワーキングツールを使ってメールのレビューや提案をしたり、ファイルやフォルダを管理したり、毎日イントラネットで面白くて関連性のあるコンテンツを探してる。プライベートでは、妻が母国語で非ネイティブの小学生や高校生に家庭教師をしてるんだけど、彼らも今はこれらのツールを使って、学校の授業計画に基づいた新しいコンテンツを生成してる。子供たちは数ヶ月前よりもずっと早く成長してるよ。

私の本業はテック業界じゃないんだ。編集者なんだけど、過去4年間で何も変わってないよ。

うちの会社はAIを企業向けに展開してるんだけど、普通のオフィスワーカーはCopilot（IDEじゃなくて、Windowsにバンドルされてるアプリ）に驚いてるよ。みんな、企業が提供するChatGPTやGeminiに素材をコピー＆ペーストして、FacebookやInstagramから仕事の生産性を上げるためのベストな5つのプロンプトをもらってる。仕事を自動化するエージェントを見せると、すごく魔法みたいな体験になるんだ。

元データサイエンティストとして、3ヶ月前からコードエージェントを使い始めたよ。それまではウェブでチャット完了を使ってたんだけど、今はほとんどすべてのドキュメントをコードエージェントで出力してる。

私は見習いを指導しているインストラクターです。新しい上司は業界に約20年いて、会社で最も尊敬されている人の一人です。彼女は教えるために私たちに参加したばかりで、今は2週間のコースを受けています。初日に、AIにすべての授業計画を作らせて、それをAIに渡してスライドを作らせるように言われたそうです… 彼女がこれをすぐに拒否してくれることを願ってるけど、もし拒否しなかったら、私たちの研修生は彼女の経験や人柄、彼女が伝えたいことを受けられなくなっちゃう。インストラクターとして、私たちは6ヶ月ごとに同じことを言われるんだ。「AIを使ってどうやって教えることができるか？」 彼らは、なぜこれが望ましいのか、必要なのかを正当化する必要すら感じていない。ただの流行に乗ってるだけ。信じられないことに、ほとんどの同僚はAIに対して非常にポジティブだけど、授業の準備以外に使ってるって言った人はいない。考えずに、準備に時間をかけずに済むから使ってるだけ… それが仕事で一番重要なことなのに。全然理解できない。

クロード・コーワークって、今はM365（だったかな？）って名前になったMicrosoftのやつを通じて、うちの組織のパワーポイントプレゼンテーションを全部作ってるんじゃないかな。Teamsに入ってるAIが毎回の会議を文字起こししてくれるんだけど、これがめちゃくちゃ優秀なんだよね。前の会議からの要点をまとめたり、必要な情報を探したりするのも得意だし。ただ、これのおかげで自分の書き方がどれだけダサいか見せつけられるのがちょっと嫌だな。「うん、えーっと、そうだね、うん」みたいな感じで。だけど、本当にすごいと思う。Microsoftのクライアント内でこのコーワークを使ったAIが爆発的に増えるのは間違いないと思う。実際、Librechatっていうツールがあって、これを使うと自分のエージェントを作ったり設定したりできるし、OneDriveへのアクセスもできるし、Claudeよりも多くのツールやモデルが使えるんだ。でも、ほとんどの人が使い方を理解できてないから、普通のOffice365のコパイロットを使ってるんだけど、これが本当にひどくて、AIに対する信頼を失ってる人が多い。MicrosoftがAIでつまずいてるのは皮肉だけど、企業向けのサービス（特にIT以外）には強いから、実際に使えるAIツールを売る会社になるんじゃないかな。なんでみんな、私たちのエクイティファンドを通じてアクセスできるLibrechatツールを使うのがこんなに難しいのか全然わからない。これ、ほぼChatGPTのコピーで、エージェントをポイント＆クリックで設定できるのに、プライベートでChatGPTをよく使ってる社員ですら、これをプロで使わないのが不思議。逆に、Microsoftのやつはみんな使えてるのが面白い。個人的には、設定ファイルを毎回プロンプトに追加しなきゃいけないから、使いにくいと思うんだけど。

そうそう、「自転車に乗ったペリカン」って、LLMの仕組みを理解してないことの究極のテストだよね。まあ、それに加えて、テストデータの再現が進歩の良い指標だと信じてることもね。

AIの真のテストは、ウィル・スミスがスパゲッティを食べることだってみんな知ってるよね。