概要
- Ployエージェント が本日から GPT-5.6 Sol を標準モデルとして採用
- 以前の標準だった Claude Opus を性能・コスト両面で上回る結果
- モデル切り替えには 評価環境やツールスキーマの大幅修正 が必要
- キャッシュ設計やツール呼び出しの違い が移行の大きな課題
- Ployは 自動でマーケティングサイトを構築・最適化 するAIサービス
Ployエージェントのモデル刷新:Claude OpusからGPT-5.6 Solへ
- GPT-5.6 Sol はOpenAIが今朝リリースした最上位モデルで、Ployエージェントの新標準
- これまで Claude Opus (4.7/4.8)が4ヶ月間デフォルトで、他モデルは品質基準を満たせなかった
- GPT-5.6 Solは コスト27%減・ビルド時間半減・品質同等以上 を実現
- Ployエージェントは 実際のマーケティングサイトの設計・コード生成・画像生成・最終判断 まで自動で行う高難度タスク
- モデル刷新には 評価環境の調整・ツールスキーマ修正・キャッシュ設計見直し・推論リプレイ方式変更 が必要
評価環境(Eval Harness)の課題と修正
- 評価スイートは 実際のエージェントを実ワークスペースでテスト
- 成功率や品質は 旧モデル依存の設定 が多く、新モデルでは未対応の失敗が多発
- 例: Opusは逐次的なツール呼び出し、GPT-5.6は並列呼び出し で予算を超過
- ファイルリードのバッチ非対応 もGPT-5.6では多用され失敗要因に
- 評価基準の閾値設定ミス で不公平な判定が発生、正しい比較には全トレースの精査が必須
実際のビルド評価結果
- Claude Opus 4.8(n=11) vs GPT-5.6(n=10)
- コスト: $3.06 → $2.22
- ビルド時間: 8分 → 3分42秒
- 入力トークン: 2.60M → 1.70M
- 出力トークン: 33.0K → 17.1K
- 視覚スコア: 0.936 → 0.970
- GPT-5.6は より短く・効率的なコード生成、例:CSSファイルのサイズ・変数数が大幅削減
デザイン傾向と課題
- GPT-5.6は クリーンで現代的なグリッドレイアウト が得意
- 既存デザインシステムを無視し 汎用的・画一的な出力 になりがち
- Ployでは デザイナーとエンジニアの知見でブランド適合性を補正
ツール呼び出し仕様の違いと解決策
- Claudeは 必要なパラメータのみ送信、GPT-5.6は 全25項目を毎回送信し未使用値を捏造
- 未使用値(例:offset: 0)が 本物と区別できず、空ファイルリード多発
- プロンプトやヒントでは修正不可、スキーマ変換で「未使用はnull可」にした上でnull削除で対応
- 結果: 空リード0%、ツール呼び出し30%減
プロンプトキャッシュ設計の違いと最適化
- Claudeは 組織単位キャッシュ で高ヒット率(92~96%)
- GPT-5.6は 部分一致キャッシュ廃止、プロンプト全体+キーでキャッシュ
- キー設計(会話単位・グローバル・ワークスペース単位) が重要
- ワークスペース単位キー+分割キャッシュで 初回ヒット率83.7%、未キャッシュトークン28%減、コストOpus以下
- キャッシュ設計ミスがコスト比較を大きく歪める
推論リプレイの違いと対応
- GPT-5.6のResponses APIは デフォルトでサーバー側参照
- 参照切れで会話中断が発生、 store: false で自己完結型リプレイに
- サーバー状態依存は プロンプトが変わるリスク も
PloyでのGPT-5.6 Sol体験
- GPT-5.6 Solは本日よりPloyで利用可能
- 無料トライアル で4分未満のサイト自動構築を体験可能
- Ployは 計画・構築・公開・最適化を自動化 するマーケティングAIプラットフォーム