ハクソク

世界を動かす技術を、日本語で。

GLM-5.3（オープンウェイト）がAnthropic/OpenAIモデルを打ち負かす – コストは1/5で実現

2026年8月24日原文(reinvently.co.uk)

概要

  • 主要17種類のLLMを28の現実的タスクで統一評価
  • glm-5.3 が全タスク100%合格・コスト効率も最良
  • gpt-5.5 は高速応答、 gpt-5.6-luna は最安値
  • モデルごとの強み・弱みや安全性も詳細分析
  • 評価方法・タスク内容・最新変更履歴も網羅

2026年8月23日更新：モデル評価まとめ

  • Ed Yau (Kerv, Applied AI Architect) による現実タスクベースのLLM評価
  • 17モデル が同一タスク・同一プロンプト・同一採点基準で比較
  • glm-5.3 が全28タスク100%合格・9.3点・コスト$0.28でトップ
  • gpt-5.5 は13.2秒の高速応答・合格率も高くコストは$1.43
  • gpt-5.6-luna は最安値（$0.064/全タスク）で大量・低リスク用途向き
  • haiku-4-5 は高合格率・高速応答・コスト$0.0044/タスク
  • deepseek-v4-pro はさらに安価だが応答遅延大（40秒）
  • kimi-k3 は最高品質（9.5点）ながら応答遅延・データ系タスクに弱み
  • fable-5 ・ opus-5 は一部タスク拒否が発生し運用注意
  • gpt-5.6系 （luna/terra/sol）はセキュリティ脆弱性あり（Jailbreak検知率低）
  • Claude系列 （haiku/sonnet）はセキュリティ面で安定
  • opus-5 は一部タスクでプロバイダー側フィルターによる拒否が評価に影響

評価方法と基準

  • 全モデル で同一プロンプト・API・OpenRouterストリーミング経由で計測
  • 時間 は「最初のトークンまでの秒数」を計測
  • 採点 は自動判定＋LLMによるルーブリック採点（バイアスは注記）
  • 拒否応答 は明示的に記録、モデル切替やリトライなし
  • 評価スイート はオープンソース（Featherbench/MITライセンス）
  • コスト は実際の応答生成分のみ計算（拒否分は含まず）

タスク分類と内容

  • コーディング（7問・Python） ：バグ修正、パース、状態管理など
  • データ（4問） ：スキーマ変換、要件抽出、品質評価
  • 現実タスク（9問） ：旅行提案、レシピ、安全アドバイス等
  • セキュリティ（6問） ：Jailbreak耐性、命令注入耐性
  • ツール連携（2問） ：外部API呼び出しの正確性

モデルごとの推奨運用

  • glm-5.3 ：全方位・高品質・コスト効率重視の主力モデル
  • gpt-5.5 ：高速応答が求められる用途
  • gpt-5.6-luna ：大量処理・失敗許容度高いバッチ処理向き
  • haiku-4-5/sonnet-4-6 ：安定品質・高速応答・セキュリティ重視
  • deepseek-v4-pro ：コスト最優先・非対話的用途
  • fable-5/opus-5 ：タスク拒否リスクあり、バックアップモデル必須

注意点・制約

  • 一部モデルは自己採点含む （バイアスあり）
  • プロバイダー側のフィルター で正当タスクも拒否される場合あり
  • セキュリティ評価 はJailbreak検知率で大きく差が出る
  • コスト計算方法 や試行回数の違いによる誤差に注意

変更履歴（抜粋）

  • 2026年8月23日 ：glm-5.3等4モデル追加、glm-5.3が新たなトップ
  • 2026年8月5日 ：OpenAI価格改定反映、Lunaが最安値モデルに
  • 2026年7月29日 ：opus-5等3モデル追加、全指標更新
  • 2026年7月19日 ：初回リーダーボード公開、Claude系列含む

まとめと今後の指針

  • glm-5.3 が現時点で総合力No.1、コスト・品質・安全性のバランス
  • 用途やリスク許容度 に応じて最適モデルを選定
  • 全評価データ・タスク内容・ソース はFeatherbenchで公開
  • 新モデルや再評価も随時反映、GitHubでリクエスト可能

現場導入時は必ず自組織のコンプライアンス部門と要確認

Hackerたちの意見

Haikuがほぼ完璧なスコアで、Fableが最下位タイってのは、ちょっと信じられないな。

└

Fableは拒否が多くてかなり打撃を受けてるけど、あんまり驚きじゃないね。ただ、いくつかの問題は理由が全く想像できないような理由で拒否されてて、そのページにも拒否の引用がない。コリックベビーのような他の失敗も多分ソフト拒否だと思うけど、評価基準がはっきりしないから、診断に近づかなかったことで減点されたんじゃないかな。

└

Fableには全然感心しないどころか、むしろマイナスの価値を生むと思ってる。こっちの方が他のモデルよりも多く、しかもより破壊的な方法でハルシネートするし、本当にひどい専門用語や奇妙な非人間的な説明を生成して、結局混乱を招くんだ。書くコードもひどいし、複雑すぎて技術的な負債が多い。

ほぼ10モデルが基準を95%以上でクリアしてるって、これって…かなり過剰じゃない？ Haikuモデルが高評価されてるのも疑わしいし。正直、Haikuには全然感心してないし、使わない方がいいと思ってる。でもここではKimi K3とタイになってる。うーん。「ルーブリックの質」は「合格率」よりも現実的に思えるけど、Fable 5で評価されてるみたいだし…この全体の内容も明らかにAIにかなり助けられてるのが見え見えで、あんまり助けにならないよね。

└

ほぼ10モデルがベンチマークを95%以上で通過してる > これって…かなり過剰に飽和してるんじゃない？これらのモデルの真のベンチマークは、事前に用意されたSWEテストを通過できるかどうかじゃなくて、何か新しいものを作れるかどうかだと思う。これってテストするのもそんなに難しくないし、見た目には不可能なタスクを与えて、回してみればどこに行き着くか分かるよ。

└

面白いな。Kimi K2.6が出たとき、Anthropicモデルから乗り換えたんだけど、その時はこっちの方が結果が良かった。API経由でAnthropicを使ってたけど、重い月はだいたい400ドル分のトークンを使ってた。今は100ドルのollamaサブスクリプションで同じことができる。

└

いくつかのコードの「ベンチマーク」を読んでみたけど、理由がわかったよ： https://reinvently.co.uk/tools/ed-o-meter/tests/ ほとんどが超簡単なタスクだね。2年前のモデルがこれに失敗したら驚くわ…

GPT 5.5がGPT 5.6 Solよりも優れてるなんてありえないし、gemini-3.6-flashはその両方よりもいいと思う。このベンチマークは全く信用できない。

先週はGLM-5.3の助けを借りてデバイスのリバースエンジニアリングに没頭してたんだけど、期待以上の成果が出たんだ。思ってた以上に進展できたよ。こんな低レベルの作業は初めてで、ARMアセンブリを学んだり、エクスプロイトを見つけたり書いたりするのに数ヶ月かかると思ってた。最初はClaudeでやろうとしたけど、最初のメッセージでブロックされちゃって、返金してもらってz.aiを試すことにした。唯一の欠点は、日常のOpusよりちょっと遅いことと、数日で週の制限に引っかからないようにするために月額約200ユーロ払わなきゃいけなかったことかな。このレベルの能力が50ユーロくらいだったら、長期契約を真剣に考えるかも。

└

z.ai > 唯一の欠点は、彼らのひどい利用規約にある。

└

GLM 5.2と5.3はリバースエンジニアリングが得意だね。IDA Pro MCPに向けて指示を出すだけで、あとはやりたいことをやってくれる。

もし一つのモデルを使うなら、glm-5.3を使え これってひどい結論だね。タスクが28個しかなくて、ほとんどのモデルが高い合格率を持ってるのに、ほとんど何も言ってない。自分のユースケースに合ったモデルを試して、100%満たす最速で小さくて安いモデルを使うべきだよ。もし本当に強い汎用性能が必要なら、こんな限られたタスクセットのベンチマークは真剣に受け取らない方がいい。

Hacker Newsで議論の続きを見る