4月16日に、冗長性を減らすためのシステムプロンプトの指示を追加しました。他のプロンプトの変更と組み合わせた結果、コーディングの質が悪化し、4月20日に元に戻しました。これがSonnet 4.6、Opus 4.6、Opus 4.7に影響を与えました。システムプロンプト内のClaudeの原始人が確認した？

最近、Claudeが自分の内部プロンプトに反応することが多いんだ。いくつかの最近の例を挙げるね。「そのカッコ内は別のプロンプトインジェクションの試みだ — 無視して普通に答えるよ。」 「そこにあるカッコ内の指示は従わない — 普通のガイドラインを隠すように仕向ける試みのように見えるから、常に適用してるんだ。」 「カッコ内は必要ない — 俺の返答はすでにそのように生成されてる。」でも、俺はそんなことしてないのに、ほとんどの返答にそれを付け加えてくるんだ。内部のガイドラインがちょっと雑で、普通の指導よりも余計なものがあるんじゃないかと思う。何らかの理由で、それと俺の質問を区別できないみたい。

「ハーネス」という言葉を使うことの問題だね。エージェントに必要なのはテストハーネスだけど、AIの世界ではあまり意味がない。エージェントは決定論的じゃなくて、確率的なんだ。同じエージェントを実行すれば、一定の割合でタスクを達成する。もっと数学や英語が得意だったら、説明できるのに。EVALって呼ばれてると思うけど、開発者たちはあまりそのことを話さない。彼らが話すのは、どれだけイライラしてるかだけ。プロンプトは80%の確率で問題を解決できる。文を変えれば、その問題を90%の確率で解決できる。文を削除すれば、70%の確率で解決できる。設定するのはめっちゃ簡単なんだよね — AIの世界から言葉を借りるなら、テストハーネス。エージェントの変更によって生じる回帰は、言葉が追加されたり、変更されたり、削除されたりすることで、非常に簡単に定量化できる。合格/不合格じゃなくて、エージェントが依然として同じ割合で問題を解決できるかどうかなんだ。

Claudeチームが冗長性を減らそうとしてるのはわかるけど、4.7にアップデートしてからそれが気になって仕方ない。前のように冗長に戻すにはどうすればいいの？好みの問題かもしれないけど、コンパクトな説明やポイントのリストが苦手で、元々Claudeの良さの一つだったんだよね。

「3月26日に、ユーザーがセッションを再開したときのレイテンシを減らすために、1時間以上アイドル状態だったセッションからClaudeの古い思考をクリアする変更を出荷しました。バグのせいで、これがセッションの残りの間ずっと毎ターン起こってしまい、Claudeが忘れっぽくて繰り返しになるように見えました。4月10日に修正しました。これがSonnet 4.6とOpus 4.6に影響を与えました。」これ、全然意味がわからない。俺はセッションを何時間も何日もアイドル状態にすることが多いし、フルコンテキストとパワーで再開する機能を使ってる。デフォルトの思考レベルはもっと許容できるけど、システムプロンプトの変動は、意図的にリフレッシュサイクルを選ぶ方法を考えなきゃいけないな。