概要
- AIモデルによる お絵描きアリーナ の実験概要
- 4つのビジョンモデル （GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flash）の比較
- 対象画像再現 と テキストプロンプト描画 の両方を実施
- ツール使用法・コスト・出力品質・改善傾向 を分析
- 主観的評価 と今後へのコメントを記載
AIモデルによるお絵描きアリーナ実験
- 白紙キャンバス と 色鉛筆ツールセット をAIモデルに提供し、描画プロセスを観察
- 各モデルは 色・筆幅・圧力 を設定し、ストローク・ぼかし・消去などを駆使して作品を制作
- モデルは 対象画像の再現 または テキストプロンプトからの自由描画 を実施
- 使用モデル： GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flash の4種
- 対象画像は モナリザ と 星月夜、さらに5つのオープンエンドプロンプトで計28作品を生成
実験の目的
- 創造性や芸術性の評価 ではなく、モデルの 実行能力やツール運用の観察 を重視
- ベンチマーク数値 では見えない、モデルの「現場力」や 実用性の差 を可視化
- オープンウェイトモデル とフロンティアモデルの 実行性能ギャップ の把握
- コスト・時間・出力品質のトレードオフ を実践的に検証
- 議論のきっかけ として、実験内容・設計へのフィードバックも歓迎
使用ツールセット
- plan ：思考・計画用のノート
- view_target ：対象画像の再確認
- view_canvas ：現在のキャンバスの描画・確認
- set_color / set_brush / set_pressure ：色・筆幅・圧力の設定
- draw ：ストロークやライン、形状の描画
- smudge ：部分的なぼかし・ブレンド
- erase / clear_canvas ：部分消去・全消去
- オープンソース （github.com/hershalb/canvas-arena）で誰でも実験可能
対象画像再現タスク
- モナリザ と 星月夜 の2作品を、 構造的類似度（SSIM） で客観評価
- モデルは常に対象画像を参照可能、 中間・最終スコア を記録
- SSIMの詳細スコアは記事内表参照
プロンプト描画タスク
- 5つのテキストプロンプト に基づく自由描画
- 例：「年老いた漁師の顔」「穏やかな海の夕焼け」「赤いバラ」「窓辺で眠る猫」「暖炉のある小屋」
- スコアなし、各モデルの表現力を比較
モデルごとのツール使用傾向
- GPT-5.6 Sol ：set_*ツールは使わず、draw/smudge/view_canvas中心
- Grok 4.5 ：set_color/brush/pressure多用、平均99ステップ/描画
- Claude Fable 5 ：smudgeとreview（確認）を多用
- Gemini 3.6 Flash ：自己レビュー(view_canvas)最多、set_*ツールは未使用
コスト・トークン消費
- Claude Fable 5 ：7作品で約$160、他モデルの約20倍
- Grok 4.5 ：トークン最多（34M）、ほぼキャッシュ読みで低コスト
- Gemini 3.6 Flash ：キャッシュ活用でコスト抑制
- GPT-5.6 Sol ：最も効率的なコスト/出力バランス
モデルの改善傾向
- view_canvas ごとにSSIM再計算、進捗を可視化
- 全モデルが早期にスコア頭打ち、レビューを重ねても最良スコアを下回る傾向
- Gemini 3.6 Flash は最大スコア到達後に下落、 過剰な修正で逆効果
客観評価（SSIM/RMSE）
- Gemini 3.6 Flash が両ターゲットで最高SSIMを記録（ただし見た目品質は別）
- Claude Fable 5 はコスト・時間が突出、出力品質はSolに及ばず
- Grok 4.5 は視覚タスクで著しく劣る結果
総評・主観的評価
- GPT-5.6 Sol が圧倒的リーダー、特に「星月夜」「バラ」の表現力が高評価
- Grok 4.5 は実用性に乏しく、視覚的理解・判断力に課題
- Gemini 3.6 Flash はコスト増も許容範囲、今後のバージョンアップに期待
- Claude Fable 5 はコスト・時間の割に出力が伸びず、今回のタスクでは非推奨
まとめ
- AIモデルの芸術的表現力 よりも、 実用的なツール運用・コスト効率・改善挙動 に注目
- オープンソースツール で誰でも追試可能、今後のモデル進化・新タスクにも期待
- 議論・フィードバック を歓迎、引き続き実験を継続予定