ハクソク

世界を動かす技術を、日本語で。

AIラボは「ペリカンマックス」をしているのか？

2026年7月23日原文(dylancastillo.co)

概要

Simon Willison による「ペリカンが自転車に乗るSVG生成」ベンチマークの有名さと、その有用性やAIラボの最適化疑惑について検証。 7つの先端モデルで 1,008個のSVG を生成し、 LLM判定 で定量評価。 ペリカンや自転車の描画が他より優れているか、また特定の組み合わせで顕著な最適化があるかを分析。 結果、ペリカンや自転車の描画は他と比べて特別優れていないことが判明。 SVG全体最適化（SVGmaxxing） の可能性は残るが、「ペリカンmaxxing」の明確な証拠は見つからず。

ペリカン自転車SVGベンチマーク検証

  • Simon Willison が毎回LLMに「ペリカンが自転車に乗るSVG」を生成させる非公式ベンチマークの有名化
  • Hacker News 等で話題となり、AI研究者間でも議論の的
  • AIラボがこのベンチマークに最適化（ pelicanmaxxing）していないかの疑問
  • 7種の先端モデル（GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro）で実験
  • 8動物×6乗り物＝48プロンプト でSVGを生成、各プロンプト3サンプル、合計1,008画像

実験方法

  • 各SVGをPNGに変換し、描画失敗時は再生成（合計11回のみ再試行）
  • GPT-5.6 Luna で動物・乗り物・動作の一貫性を1〜5で採点（judge score）
  • Gemini 3.1 Flash-Lite で画像特徴抽出（動物・乗り物の認識、向き、シーン要素）

主な分析ポイント

  • ペリカン・自転車・ペリカン×自転車 の描画が他と比べて特別良いかを統計的に検証
  • 回帰分析で難易度の違いも補正しつつ効果測定

分析結果

  • ペリカン×自転車画像 が他と比べて明確に優れていない
    • GLM-5.2のみやや高得点だが、統計的有意性なし
  • ペリカン は8動物中6位、 自転車 は乗り物中ほぼ最下位
    • 猫やラクーン、クジラなどの方が高評価
    • 自転車は構造が難しく、2/3でパーツの欠落や接続ミス
  • ペリカン×自転車 の組み合わせも48通り中42位と低評価
  • 方向性 ：ペリカン×自転車は全て右向きだが、他組み合わせも右向きが多く、特別な偏りなし
  • シーン要素 ：特定の要素の繰り返し（例：フラミンゴ＋ボートは全て太陽）が見られるが、ペリカン×自転車だけが特異ではない

制約・限界

  • 採点モデル が単一（GPT-5.6 Luna）で再現性や一貫性に課題
  • SVG生成全体の最適化（SVGmaxxing） は検出できない
  • 予算制約 でサンプル数や判定モデルが限定的

結論

  • AIラボが「ペリカンmaxxing」をしている明確な証拠はなし
  • ペリカンや自転車、ペリカン×自転車の描画が他と比べて特別優れていない
  • 方向性やシーン構成の偏りも一般的な傾向の範囲内
  • SVG全体最適化 の可能性は否定できないが、特定ベンチマークへの過剰最適化は見られず

Hackerたちの意見

より信じられる話はSVGマキシングだね。そうそう、ここで「マキシング」が本当に何を意味するのか考えなきゃ。だって「SVGを描くスキルを上達させる」って、役に立つスキルだし。

└

AIラボがスキルマキシングしてるのは本当にひどいよね /s ペリカンの話は置いといて、ベンチマークがモデルを比較する唯一の良い定量的手段だってことを忘れちゃいけないよ。もし「ベンチマキシング」に文句がある人がいたら、もっと良いベンチマークを提案してもらえるようにお願いしてみて！それは貴重な仕事だし、すごく感謝されるよ。

誰かがこの数字を計算してくれて嬉しいよ。シモン・ウィリソンのSVGに関する投稿には、必ず誰かが「今頃はもう訓練してるだろう」とか言って否定するコメントがつくんだよね。これは、簡単に見つけられる良い論理を持ったブログ記事があるにもかかわらず。 [1] こんな小さな動物たちが小さな自転車に乗ってるのを定量的に分析してくれた人がいて嬉しいな。

└

この少しの一般化が他の動物や乗り物に対して強い証拠だとは思わないし、直接的にも一般的にも訓練していないわけではないと思う。

└

その議論のバージョンもあるけど、もっと柔らかいバージョンもあるよね。以前は自転車に乗ったペリカンのイラスト付きのトレーニング素材がなかったけど、今は実際にアーティスティックな才能を持った人たちが描いていて、それがパフォーマンスを向上させるかもしれないってこと。AIラボは他のものと同じようにそれを吸収しているけど、まだそれが実現していないってことをこの投稿が証明してる。もしかしたら、オンラインに投稿された悪い結果がトレーニングに使われていて、それがパフォーマンスの低下を説明しているのかも。

これ素晴らしい！他の動物が他の乗り物に乗ってるのをカジュアルにチェックしてるんだけど、私の夢は、ペリカンが自転車に乗ってるのが他の組み合わせよりも明らかに優れてるAIラボを見つけることなんだ。私の一つのバカなベンチマークで不正をしてるラボを見つけたら、めっちゃ面白いだろうな。ダイランの方法論は、8x6の組み合わせで1008のSVGを生成するってことで、私が考えてたものよりずっと堅牢だよ。彼の結論はこうだね：> 目立つものはなかった。ペリカンと自転車の画像が、そのモデルの他のグリッドよりも明らかに良く見えるケースは見つけられなかった。

└

もしかしたら、鳥の種類も変えてみたら？ウィキペディアによると、ペリカンは_ペレカニフォルメス_の仲間だから、シューベルやサギもいいかもね。

└

彼らがペリカンマキシングをしていないとしても、一般的にSVGマキシングをしている可能性はないかな？そうじゃないと、複雑なSVGを生成するためにLLMを使うのはかなりニッチだし、新しい時にこれが良いベンチマークになると思った理由は、一般的なプログラミングと空間的知識だったから。明らかに、SVG形式での画像生成は、直接取り組めば特に難しい問題ではないよね。

└

自分の一つの馬鹿なベンチマークでラボが不正をしているのを見つけたら、めっちゃ面白いだろうな。TPCがSQLベンチマークを出したときも似たようなことがあったし。TPCが得意じゃないと、エンジニアリングチームはダメってことになる。TPCが得意なら、（顧客として）特定の問題に対するベイクオフベンチマークに実際に参加させてもらえる。そこで勝つことが、ゲームに入るための条件だし、特に競争が激しい市場ではね。でも、どれだけ狭くベンチマークを設定するかが重要で、特定のシナリオをハードコーディングして、それに関連するものを何も修正しないわけにはいかない。例えば、GPUに関して言えば、ATIカードの「Quack3」（笑）ベンチマークが思い浮かぶ。

└

もっと根本的なテストは、一般的なSVGアートの作成だと思う。どんな画像でも取り込んでキャプションを付けて、LLMにSVGを求めて、ラスタライズして画像にして、最後に決定論的な視覚的類似性チェックを使うか、別のLLMにジャッジを頼んで、SVGが元の画像にどれだけ近いかを評価するパイプラインがあればいいかも。

└

他の動物を他の乗り物でカジュアルにチェックしてるんだけど、飛行機の中のヘビ、ディーゼル車の中のイタチ、グライダーの中のクモ、風船の上のバブーン、ボートの上のヤギとかね。

└

サイモン、これからはあなたのプロフィールに「サイモン・ウィリソン、他にもいろいろなことをやっているが、ペリカンの幾何学をLLMのトレーニングデータセットに含めることを提唱している」と書いてほしいな。

Hacker Newsで議論の続きを見る