100%同意だよ。もっと悪い仕事をするのはエラーだ。そう扱うべきだし、少なくともその行動はオプトインにすべきだよ。デフォルトが何もなかったかのように振る舞って、静かに悪い仕事をするのはダメだよ。もし医療提供者が時々あなたの検査結果をちゃんと読まないことにしたら、死の危険があるって想像してみて。今、医療提供者がクレードを使っていることを考えると、そのシナリオは単なる仮定じゃないんだ。

この文脈での「EA」って何？ これを使ってる人がたくさんいるけど。

アンスロピックが目指している合理的な中間点は、重要でクリティカルなソフトウェアを作っている組織にサイバーセキュリティで先行させることだと思う。そうすれば、他の誰もが同じアクセスを許可する前に、先に進めるから。他のコメントでも、これらのガードレールが善意のサイバーセキュリティには逆効果だって指摘されてるけど、自分のソフトウェアをテストして強化するために使えないからね。

クリーンに失敗するべきだ。これは、単位のないパーセンテージバーとして有料使用制限を設け、アルゴリズムがそのパーセンテージバーを変更するたびに顧客をガスライティングする同じ業界だ。既存のモデルをロボトミーして、ハードウェアからもう少しお金を絞り出すために量子化を増やすこともある。「クリーンに失敗する」ことは、彼らのモーテッドなハイプマシンをIPO前に悪く見せるかもしれないから、当然自発的にはやらないだろうね。

パターナリズムは良い印象じゃないね。孤立しているとそうだけど、彼らが何から守ろうとしているのかを話さないのはちょっと怠慢だと思う。私たちは絶対的な疑いの余地を与えているはずなのに。「彼らの懸念は本物じゃなかった」と結論づけているの？それは彼らが観察してきたことや結論に反するんじゃないかな。

問題は、AnthropicがAGIや神のような存在から期待されるワークフローを作り上げようとしていることだ。ワークフローはこうだ；ユーザーが何かを頼む。良いことなら、その存在がそれをやる。ナイーブに悪いアイデアなら、その存在が「それはやめた方がいいよ」と説明する。実際に悪意のあるリクエストなら、その存在が比喩的に指を振ったり、ユーザーを罰したりする。問題は、その流れが望ましくないってこと。もしその存在が完全に神のようじゃなかったら、悪い結果になることもある。

プロンプトを修正してたの？俺はただリクエストを4.8に落としただけだと思ってたんだけど。

それって、部分的に自分が書いたプロンプトを実行するためにお金を払ってるってことだよね。

もし最大限の好意的解釈をするなら、彼らは「管理者」として自分たちを見ているんだろうけど、言ってみればスタンダードオイルが石油の管理者だと考えていたのと同じことだよね。好意的解釈とファンフィクションは別物だから。彼らの最も攻撃的な「ガードレール」は、安全のためじゃなくて、他の研究所が自分たちの製品に追いつくのを阻止するためにあるってことを忘れないで。バイオ兵器やマルウェア、ヘイトスピーチを抑えることよりも、自由市場の競争を妨げることの方が大事みたいだね。