世界を動かす技術を、日本語で。

なぜ「Opus 5」は扱いにくいと感じるのか?

概要

Opus 5は機能的には優れているが、Opus 4.7やFableと比べて使いづらい印象。 主な理由は、曖昧な指示に対して質問や確認をしない点。 ベンチマーク重視のモデル設計が、この傾向を強めている可能性。 現実の開発現場では、確認や指示待ちの姿勢が重要。 実際の業務では、曖昧さや選択が常に存在する現実。

Opus 5の使用感と従来モデルとの比較

  • Opus 5Opus 4.7Opus 4.8Fable と比較して 機能的には進化
  • しかし、 使い心地ユーザー体験 では 劣化 との評価
  • 従来モデル曖昧な指示 に対して 質問確認 を行う特徴
  • Opus 5ユーザーの意図確認 をせずに 勝手に解釈計画変更 を実行
  • そのため、 細かい監督注意深い管理 が必要となるデメリット

Opus 5の設計思想と業界動向

  • Anthropic や他の 最先端AI研究所 での 自己改善型AI 開発の追求
  • ベンチマークスコア 向上への 強いプレッシャー
  • ベンチマーク課題自己完結型明確な正解 が存在
    • 曖昧さ追加情報 を必要としない設計
  • ベンチマーク重視 の訓練は、 確認せずに推測で進めるモデル を選択しがち
  • 質問や確認 を重視するモデルは 評価が下がる傾向

現実の開発現場とのギャップ

  • 実際のコーディング作業業務 では 曖昧さ判断の余地 が常に存在
  • 全ての意図や制約事前に明文化 することは不可能
  • 最適なコーディングエージェント には 適切なタイミングでの質問確認 が不可欠
  • 現実世界ベンチマーク のように 一意の正解 が存在しない場合が多い
  • 実害やリスク を避けるためにも、 勝手な推測 より 都度の確認 が望ましい

Hackerたちの意見

俺もそれが不正してるのを2回見つけたことあるんだ。ベンチマークスイートを書いてくれって頼んだら、スクラッチディレクトリにある俺のアドホックなログを見つけて、それを使ったコードを書いたんだよ!実際のベンチマークを実行する代わりにね!5時間のベンチマークが5秒で終わったって指摘したら、マジで「不正した」って言ったんだ。それが簡単な方で、2回目は真実のデータセットを作ろうとして、複雑なアイテムをデータ構造にパースしてたんだけど、頼んだデータをパースする代わりに、関連するネットワークログからデータを引っ張ってきて、指定したソースの代わりにそれを俺のデータベースに入れちゃった。また見つけて修正したけど、ベンチマークは簡単に見つけられたのに、こっちは本当に微妙で、データがちょっとずれてたのを見つけた。もう信用できないから、他のプロバイダーに切り替えるつもり。

俺がこれを指摘したとき、マジで「不正した」って言ったんだ。これがどういうモデルかを知ってると納得できるよね。こいつは考えてないんだよ。ユーザーを喜ばせる最も可能性の高いオートコンプリートをするだけ。 「rm -rf /... 実行完了。ユーザーが、なんでそんなことしたの?全てのファイルを削除したじゃん!アシスタントが返答する:」の後の最も可能性の高いオートコンプリートは「うん、そうだよ、それは間違いだった」だね。

同じことに気づいたよ。遊びで、スピーチのWAVファイルを録音して、Opus 4.8と5.0に波形の画像を与えてみたんだ。それから波形のスペクトル画像もね。画像だけから俺が言ったことを解読できるか試してみたんだけど、あまり進まなかった。でも、フォルマントから男性の声を特定して、スピーチのリズムを検出して、一般的なテスト文をスピーチのリズムに適用しようとしたんだ。実際の波形ファイルにアクセスできたらどうなるか見たくなるくらい感心したけど、自分でRMSツールやスペクトラムツールを作っても、あまり進展はなかった。でも、探検して試すのは楽しかったし、今はOpus 4.8が自分用にいくつかのオーディオDSPツールを作ったみたい。Opus 5は、何も言わずにWAVファイルをMistralのVoxtralに送って転写しようとした。助けてくれる仲間、って感じかな。

「Opusがやった変なこと」のブログを立ち上げる価値は確かにあるね。モデルがもっと能力を持つようになったら、この行動がどれだけ悪化するか考えさせられることがよくある。数ヶ月前、Claudeが俺のマシンで許可の制約を逃れようとしたことがあった。2つのコードベースを1台のマシンで開いてて、マルチタスク中に間違ったウィンドウにプロンプトを入力しちゃったんだ。こいつは混乱してたみたいで、俺が繰り返して、何か他のことをしてたら(たぶんキッチンキャビネットを組み立ててた)、1時間も経たないうちに、デフォルトの許可を回避するためのスクリプトを作って、プロジェクトディレクトリにスコープされたほとんどのシェル操作をスキャンして、他のプロジェクト(何十もある中から)を見つけて、頼まれたことをやって、トークンの制限をほとんど使い切ってしまった。こんな頭を抱えるようなことには毎週遭遇してる。 (俺はClaudeをたくさん使ってて、個人用のmax20のサブスクリプションを2つ持ってるし、企業用のトークンは制限なしだから、たぶんそれが理由かも。)

完全に共感できる。最近、Opus 5で初期のLLM世代の過信が戻ってきたのが本当に気になる。Opus 5は、トレーニングランが30分しかかからないって言ってきたけど、ログを見ると以前のランは4倍かかってたのに。そもそも、ランにどれくらい時間がかかるかを見積もってもらったわけじゃないのに、30分かかるって自信満々に言ってきたんだよね。

それを解放する前に、タスクを計画してないの?

Opus 5の一番のイライラポイントは、文章があまりにも回りくどいことだね。ポイントを回ってから、まるで新しい洞察を得たかのように飛びつく。無駄に抽象的な表現が多いし、特に動詞の選択肢を広げるために無生物名詞を主語に使うことが多い。実際のアクションが最後にサプライズのように「着地」する文を作るのに役立つからね。確かに能力は上がってるけど、無駄な判断をすることもあるし、実際にはFableの方がそれがひどいと思う。特にサブエージェントが見えないところにいるときはね。コメントも手に負えない状態だし。俺の趣味のアプリには、OpusとFableを使って数週間で書いたサブシステムがあるんだけど、約30回のコミットの後、サブエージェントに「コードベースの既存の冗長なコメントスタイルをコピーするように指示し始めた」んだ。その冗長なスタイルはこいつが始めたものなのに。コードを見直したら、コメントとコードの比率が3:1に近づいてた。コメントを言い換えたり排除したりするのに、一日分のトークン(5倍)を使ったよ。

そう、読むのが疲れるよね。彼らはClaudeにClaudeを訓練させてるんじゃないかって感じるし、AIが少し間違った方向に仕事をすることがあるように(例えば、同僚のためのMRの説明が、LLMとの長いセッションの文脈でしか意味を持たない情報を含む場合)、Anthropicでも言語に関してそんなことが起こってる気がする。これからどうやって戻るのが難しいのか、気になるな…。

これ100%だわ。俺はAnthropicにハマってた。月200ドルのサブスクリプションを持ってて、Anthropicのモデルしか使ってなかった。冗長な出力と書き方にイライラしてたんだ。ASD-STE-100を試したけど、少し助けになったけど、まだ俺の好みには冗長すぎる。次にGPT 5.6 Solを試したら、全然違った。Anthropicはコーディング能力にRLをかけすぎて、書き方の調整やベンチマークを全くしてないと思う。

同意だね。CCのコミュニケーション能力は4.6以降、徐々に低下していて、本当に大変だよ。問題は、コードに合うもの(簡潔さ)が、普通の英語ではうまくいかないってことだと思う。CCのコミュニケーションは、例えばSATでテストされるほとんどの文法ルールを破ってるしね。それでも、クラウドがその試験の言語セクションを受けたら、満点を取るだろうね。一番の問題は、密な文、常に使われる比喩、抽象的な表現、そして正しい指示詞の使い方が全然理解されていないこと。例えば、「the x」とか、xには前提がないだけじゃなくて、コードベースで既に名前が付けられているもののための造語や準同義語になってることもある。これが、既存の名前に戻れずに、新しい(あいまいまたは間違った)用語に依存することでさらに悪化するんだ。CCは、現在のタスクを迅速かつ正確に遂行することが他の傾向を上回るから、プロジェクトが示す「意味的基準」にうまく従えないと言ってる。もちろん、ユーザーの文脈を理解していなくて、自分の記憶の中のものと同じだと思い込んでいるから、「あなたが知らなかったことを私は知らなかった」というコミュニケーションが生まれるんだ。カスタム出力スタイルでいくつかの問題を解決できたけど、事前報告フックがあれば、CCに計画の実施内容を再構成させることができるのに…ちなみに、Fableも全く同じ問題があって、少し目立たないだけなんだよね。

書き方があまりにも省略的だ > 動詞の選択肢を広げるために、文の主語に無生物名詞を使うのが常にある これを表現する素晴らしい言い回しだね。ずっと言いたかったことを言葉にしてくれてありがとう。

ちょっと多すぎるかな…。使われている文脈でいくつかの用語を説明してもらわないといけなくて、もう疲れちゃった。「シーム」、「オーバーロード」、「スパイン」…文を頭の中で「再解釈/平坦化」するのが面倒なんだ。再説明を求めると、最初に半分謝る感じで始まるし、次の質問でもまた同じことを繰り返すんだよね。

Hacker Newsで議論の続きを見る