ハクソク

世界を動かす技術を、日本語で。

$100 AI音楽ビデオ: Claude Fable 5 対 GPT-5.6 Sol

2026年7月17日原文(tryai.dev)

概要

  • FrontierレベルのAIモデルが自律的に音楽ビデオを制作する検証実験の紹介
  • Claude Fable 5とGPT-5.6 Solで、$25と$100の異なる予算で実施
  • 各モデルのツール使用や生成過程を詳細に記録・分析
  • 生成コスト、編集手法、出力品質の違いを比較
  • オープンソースプロジェクトとしてGitHubで公開

小規模エージェントハーネスによる音楽ビデオ自動生成実験

  • 目的 ：AIモデルが 与えられた予算・ツール・楽曲 のみで自律的に音楽ビデオを制作する能力の検証
  • 対象モデル ： Claude Fable 5 と GPT-5.6 Sol の2種
  • 予算設定 ：各モデルで $25と$100 の2パターン、合計4回の実行
  • 入力条件 ：同一楽曲（ Bruno Mars & Mark Ronson「Uptown Funk」）、短いテキスト説明、タイムスタンプ付き歌詞トランスクリプト

システム構成・使用ツール

  • 自律ツール呼び出しループ による完全自動化
    • plan ：思考用（無料、実行なし）
    • web_search ：生成モデルやAPI、音楽ビデオ情報の調査
    • get_budget ：残予算の確認
    • generate_image / generate_video ：画像・動画生成（予算消費）
      • FAL または Replicate モデルを任意選択、パラメータも自分で指定
    • run_command ：ローカルシェルでffmpeg/ffprobeを利用し、音声解析・動画編集・最終mux処理
  • 予算がゼロ になると生成系ツールは利用不可だが、編集は継続可能
  • 全プロセス・ツール呼び出し・エラーを完全ログ化
  • GitHubでオープンソース公開 ：github.com/hershalb/music-video-arena

実行結果・生成動画

  • 全4回の実行 で 全て成功、元楽曲をmuxしたフル尺動画を出力
  • 出力サンプル ：Claude Fable 5（$25/$100）、GPT-5.6 Sol（$25/$100）
  • 完成までの所要時間 ：38分～49分（リトライや待機含む）
  • 出力解像度 ：$25は1280x720、$100ではFableのみ1920x1080

モデルごとの生成・編集手法の違い

  • アプローチの差異
    • Claude Fable 5 ：全実行で テキスト→動画生成（t2v） のみを選択
    • GPT-5.6 Sol $25 ： 画像→動画パイプライン （静止画生成→アニメーション化）を採用
    • GPT-5.6 Sol $100 ： 複数の動画生成モデル を組み合わせて利用
  • 使用モデル例
    • Wan 2.5、 Seedance 1.0 Pro、 Veo 3.1 Lite、 Hailuo 2.3 Standard など
    • 価格 ：FALの公式レート（例：Wan 2.5は$0.05/秒、Hailuo 2.3は$0.28/6秒）

ツール使用状況・エラー

  • ツール呼び出し回数 や 失敗回数（主にネットワークエラー） も全て記録
  • 失敗呼び出し は課金されないが、モデルはリトライでステップを消費

トークン消費・総コスト

  • 生成コスト（FAL） と LLMトークンコスト を合算して総額算出
    • Claude Fable 5 ：$41.29（$25予算）、$73.65（$100予算）
    • GPT-5.6 Sol ：$27.45（$25予算）、$39.82（$100予算）
  • Fable 5 のトークンコストは全体の3～4割、 Sol は$3～4程度と安価

分析・所感

  • キャラ・ストーリーの一貫性 が全モデルで課題
    • キャラクターの外見や物語がショットごとに変化しやすい
  • 歌詞の直訳的解釈 が多く、映像がやや不自然になる傾向
  • テンポや動作の一致度が低い
    • カットはビートに合わせられるが、映像内の動きが曲テンポに追従しない
  • 編集手法の違い
    • GPT-5.6 Sol $25 のみ、テキスト重畳や静止画アニメーションなど創意工夫
    • 他は生成クリップの単純連結が主流
  • 自己評価や再編集はほぼなし
    • 生成後のクリップ内容評価や再編集は未実施
  • Replicateは未使用、全モデルがFALのみ利用
  • Fable 5は全体的に高コスト だが、主観的には$100動画の完成度がやや高い
  • $100予算は過剰、両モデルとも上限近くまで使わず、ステップ数も控えめ

今後の展望・試用案内

  • 主観的・スタイル的なタスクへの対応力 は今後のモデル進化に期待
  • オープンソースで自由に試行可能
    • 任意の曲・予算・モデルで独自検証が可能
    • フィードバック・PRも歓迎
  • TryAIで全モデル利用可能、サブスク不要・従量課金制で体験可能

Hackerたちの意見

どういうプロンプトやコーディングの仕方なのか分からないけど、出力が歌詞の直訳みたいになっちゃってるのが気になる。最高のミュージックビデオは、歌詞そのものじゃなくてテーマに沿ったストーリーアークがあって、最初は曖昧さがあって何かを明らかにする（文学的なメカニズムに従って）。Amber Runの「Found」の歌詞とビデオのストーリーアークを考えてみて。https://www.youtube.com/watch?v=Yj6V_a1-EUA

└

直訳のミュージックビデオも楽しいし、クリエイティブな方向性としては有効だよね。例えば、Vance Joyの「Riptide」みたいな。https://www.youtube.com/watch?v=uJ_1HMAGb4k

└

インタビューで、あるアダルト女優がシーン中に言うことについて聞かれた。彼女は、常にその瞬間に起こっていることを文字通り説明していると言ってた。これがLLMモデルのやってることだね。

└

Weird Alのビデオはしばしば完全に直訳で、その結果すごく楽しいよね。https://youtu.be/N9qYF9DZPdw?is=tU_8p-hDZv9gjAJ6

└

面白い事実（興味あればだけど）：90年代には、アゼルバイジャンで制作されたほとんどのミュージックビデオが歌詞にぴったり合ってたんだよね。

└

全体的に、もう恥ずかしすぎて見てられなかった。でも、最初の30秒で「AIのクソ」っていうのを完璧に体現してたから、ちょっと楽しめた。 「ミシェル・ファイファー、その白い金」って言ったら、金色のスパンコールのトップを着たブロンドの女性を映して！「都会で楽しんでる」って言ったら、大都市のショットを見せて！何よりも、動画の馬鹿げた直訳的な表現が、（個人的に思うに）歌詞の素晴らしい独創性と対照的だった。例えば、「ミシェル・ファイファー、その白い金」は実はコカインのあからさまな言及なんだよね。もし歌詞が動画みたいに馬鹿みたいに独創性がなかったら、「今みんなコカイン吸ってる！！」とかになってたかも。

└

最高のミュージックビデオは、歌詞のテーマに沿ったストーリーアークがあるけど、歌詞そのものとは必ずしも一致しないんだよね。音楽がめちゃくちゃ人気なら、やってみる価値はあるよ。例えば「Land Down Under」とか。

└

時々、1つのトラックのミュージックビデオを別のものと入れ替えて、シンコペーションを自然に起こすことで解決できることもあるよ。

どのミュージックビデオも素晴らしくなかった。これを認めてくれて嬉しい。トークン以外にどれくらいの時間がかかるのか気になる。もし25ドル払って45分待って、ほとんど見られないビデオを手に入れるなら、インディ映画制作者が置き換えられることは心配してないかな…

└

クラシック音楽の訓練を受けてるけど、正直言ってこれが人間が作ったものよりどう悪いのか分からない。どれも似たように見えるんだよね。

└

Seedanceを使ってる監督や編集者は映画スタジオをクビにできる。これはストーリーテリングの資金調達と制作の方法が根本的に変わるってことだよね、運転する人が変わるわけじゃない。同じことがコードでも起こってる。

└

1年前には考えられなかったことだよね。物事の変化のスピードや映画にかかるお金を考えると、誰かが100百万ドルの映画を100万ドル以下で作れるなんて、疑う余地ある？

Hacker Newsで議論の続きを見る