世界を動かす技術を、日本語で。

Kimi K3とペリカンベンチマークからまだ学べること

概要

  • 2026年7月16日、Moonshot AIが Kimi K3 を発表
  • 2.8兆パラメータ の中国AIラボ最大規模モデル
  • 7月27日までにオープンウェイト公開 予定
  • ベンチマークでClaude Opus 4.8やGPT-5.5 highを上回る
  • 価格・推論コスト・特徴的なテスト例について解説

Moonshot AIのKimi K3発表と特徴

  • Moonshot AIKimi K3 を発表、現時点で中国AIラボ最大規模
  • 2.8兆パラメータ 搭載、DeepSeek 1.6T v4 Proを超える規模
  • ウェブサイト・API経由で利用可能7月27日までにオープンウェイト公開 予定
  • 初のオープン3Tクラスモデル ”と主張(2.8兆を3兆に切り上げ)
  • 自己申告ベンチマーク でClaude Opus 4.8 maxやGPT-5.5 highに勝利
  • Claude Fable 5GPT-5.6 Sol にはわずかに及ばず

ベンチマーク・コスト・性能の詳細

  • Artificial Analysis のプライベート評価で Elo 1547 を記録、Kimi K2.6から+732ポイント
  • Claude Fable 5 に次ぐ高評価
  • 1タスクあたりのコスト は$0.94、GPT-5.6 Solの$1.04に近く、Opus 4.8の約半額
  • 出力トークンあたりのコスト は$15/100万トークンで中国AIラボ史上最高額
  • 旧モデルKimi K2.6($0.95/$4)から大幅値上げ
  • トークン使用量 はK2.6比21%減少、効率向上
  • Arena.aiのFrontend Code arena でトップモデルに

実際の利用例:「ペリカン自転車SVG生成」テスト

  • OpenRouter 経由で「ペリカンが自転車に乗るSVG生成」プロンプトを実施
  • 95入力トークン、16,658出力トークン (うち13,241は推論トークン)で 25セント のコスト
  • 画像入力 にも対応、生成SVGを再入力しaltテキスト生成も高精度
  • altテキスト例:白いペリカンが赤い自転車に乗り、青空や草原など詳細な描写
  • プロンプトのトークン数 が多い("hi"でも86トークン)、隠れたシステムプロンプトが推測される

ペリカンSVGテストの意義と限界

  • 21ヶ月続く独自ベンチマーク として“ペリカン自転車SVG生成”を実施
  • モデル間比較には限界があり、最近は エージェント的ツール呼び出し能力 など本質的な性能を測れない
  • それでも “hello world”テストコスト・推論量の把握SVG出力・空間認識能力確認 に有用
  • モデル間・バージョン間の進化比較 にも活用可能
  • Kimi K3 のペリカンはKimi 2.5から大幅改善
  • Hacker News などで恒例のテストとして親しまれている

モデル利用・テスト方法

  • 公式APIOpenRouterllama.cppLM StudioOllama など各種方法でモデル利用
  • CLIツール やプラグインを活用し、最新モデルの迅速な試用・評価
  • 出力SVGの妥当性や空間理解簡易コスト計算モデルの推論特性 を短時間で把握

まとめ:Kimi K3の意義と今後

  • 中国AIラボ最大規模・最高価格のオープンモデル として注目
  • 推論効率・出力品質の向上 を実感
  • 本格的なエージェント用途や長期会話での実力 は今後の検証課題
  • オープンウェイト公開後のコミュニティ評価 にも期待

Hackerたちの意見

「“自転車に乗ったペリカンのSVGを生成する”というプロンプトがどうして95の入力トークンになるの?」OpenAIのトークナイザーは10をカウント、AnthropicのOpus 4.6も10、Opus 4.7は30、Sonnet 5/Fable 5は25だって。Kimi K3に「こんにちは」と入力したら86トークンになったから、85トークンの隠れたシステムプロンプトがあるかも。けど、それは漏らさなかったみたい。これは、カスタムの推論努力を設定したときに最初のトークンの前に注入される推論努力プロンプトかもしれないね。例えば、DeepSeek-V4の最大モードプロンプトを見てみて: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

シモンが自転車に乗ったペリカンがトレーニングセットに含まれてないってまだ信じてるのがすごいよね。ブログやフォーラム、GitHubには何百もあるのに。うちの会社のブログに載せた内容が、6ヶ月後にはLLMに知られてるし、シモンのサイトよりも1000倍少ないトラフィックなのに。

ペリカンと自転車はトレーニングセットに含まれていても、この特定のベンチマークのためにトレーニングされているわけではないかも。

トレーニングセットには含まれているけど、意図的にトレーニングされているわけではないかもしれない。ペリカンのSVGを投稿してる人は多いけど、通常は高品質で再現する価値があるからじゃないんだよね。

もっと言うと、実際の企業がそれを参考に使ってるんだよ。3Dバージョンかもしれないし、SVGじゃないかもしれないけど、明らかにこれらの企業のレーダーに引っかかってる。

シモンは何度か、ペリカンがトレーニングセットに含まれている可能性があるって言ってるよ。彼は他にも公開してないテストを持ってるし、ただペリカンのファンなんだ。

この論理を人間に当てはめたらどうなるかな。「あのアーティストは一度ビーチでペリカンを見たことがある!」[怒りの声]「彼は本物のアーティストじゃない、チーターでオリジナルのものは何も作ってない!」

投稿読んだ?そんなに長くないよ。彼はこれを明確に言ってるし…。

Googleの人がLinkedInに、自分の仕事はGemini 3.0のためにSVGを最適化することだって書いてたのが有名だよね。

ペリカンはまだまだダメだね。トレーニングセットに入っても、モデルがより良いペリカンを生成するのには役立たないし、むしろパフォーマンスが悪くなるだけだよ!

そういえば、Nano Bananaにうちの会社のオフィスのレンダリングを頼んだら、めちゃくちゃ正確だったよ。

ペリカンの話をまだしてる人がいるなんて信じられない…でも、やっぱりその広告は効果的なんだよね。

Hacker Newsで議論の続きを見る