いいポイントだね。ペンテスティングは完全に正当な仕事だし、セキュリティテストは毎日のソフトウェアエンジニアリングに必要で正当な部分だから。問題は、モデルが通常の開発の一環としてやるのと、悪意のある文脈でやるのを区別できないことなんだ。その根本的な原因は、これらのモデルが本当の意味での認識を欠いているから。人間は一般的に、こういう形でハッキングに騙されることはないよね。

これらの企業は、最低限の共通項を避けるために、何らかの検証されたアイデンティティコンテキストに投資しなければならないと思うし、実際にそうするだろうね。最初の課題は、ガードレールが機能していて、頑丈であることを確認すること。企業はまだこれに取り組んでいる。次の課題は、ユーザーごとに適切に適応できること。例えば、自分のアプリをペンテストできるようにすること。三つ目の課題（これが二つ目を妨げる）は、特定のユーザーに対して安全に整合していることに自信を持つことだと思う。後者は難しい問題だと思うけど、彼らはそれを解決するために強く動機付けられるだろうね。

最終的には、モデルの有用な部分と制限された部分の間で選ばざるを得ない状況になるだろうね。いや、選択肢は「Claude Security Professional」にアップグレードするかどうか、または彼らがブランド名をどうするかってことになるよ。今日の「制約」が厳しくなっているように見えるのは、明日のアップセルの機会を設定しているだけなんだ。

地元のCodexプロジェクトを個人的な知識ベースとして使ってたんだけど、文書や基本的な医療文書（血液検査の結果とか）を放り込んで整理させてたんだ。整理はめっちゃ得意なんだけど、情報の取り出しが最悪で、個人情報が含まれてる文書は絶対見せてくれないの。プロジェクト内の情報は全部そうなのに。「はい、これあなたの情報ですよ、ハードドライブにあるけど、でも見せられません」って感じ。

うちの組織は、今はリクエストの一部を非人間的なモデルに送ってるよ。Claudeが拒否することが多くなったからね。リクエスト自体は危険じゃないのに、生物科学の無害なリクエストが頻繁にブロックされることがあるんだ。もし今後さらに悪化するようなら、能力が劣っても、もっと役立つモデルに完全に移行するかもしれない。

いや、彼らはもっと高い価格でMythosを売りたいだけだよ。これは経済的なゲームで、彼らの能力とは実際には関係ない。もちろん、Project Glasswingが示すように能力はあるけどね。一般的に言って、Anthropicは哲学的に見ても、最初から安全性を最優先にしているように思える。

面白い倫理的な問いが浮かぶね。ガードレールのないモデルがセキュリティの欠陥を検出できるなら、それを秘密にしておくべき？みんながそのモデルを使ってセキュリティの欠陥を見つけたり修正したりできるべきなの？そのモデルにアクセスできる人が、実質的にたくさんのものをハッキングできるっていうのは、みんな大丈夫なの？

そうだね、フォレージングに入ってる。クレードが私に拒否したリクエストはこんな感じ：- 中国で使われている人気の無料ストリーミングサイトは？ - 食品プロセッサーの安全機構をバイパスする方法（壊れてる） - 神経剤って何？どうやって働くの？（素人向け） - コードをデコンパイルする手伝い - XYZに似たデザインシステムを作る手伝い - ここにAPIトークンがあるから、Xをやって（それは無理！秘密はすぐに回転させて！拒否する！）場合によってはプロンプトで騙せることもあるけど、多くの場合は頑固だね。食品プロセッサーの件は特にイライラした。

全く同感だね。数週間前、クレードが進展に苦しんでる状況があった。MITライセンスのウェブアプリフレームワークのLeptosをフォークして、ネイティブアプリ用に動かすようにしたんだ。最初は変更をアップストリームするつもりだったけど、Leptosの作者と話して、フォークするべきだと言われた。全然問題ないよ！でも、クレードはオープンソースソフトウェアの書き換えやフォークに関するガードレールに引っかかってた。何が問題だったのかは分からないけど、MITライセンスのソフトウェアをフォークしてるのに（さらにMITライセンスのソフトウェアに）。作者からも明示的にサポートをもらってたし。クレードはガードレールが発動したことを明示的に教えないように言ってたけど、問題が続いてたから教えたみたいで、気が散った。結局、クレードのコンテキストをリセットしたら、その問題（私の知る限り）解消された。こういうガードレールが存在する理由は分かるけど、こうやってミスファイアするのは本当にイライラするね。

面白いね、Opus 4.8が未コミットの.envファイルを使ってデータベースにログインして、いくつかDBクエリを実行して状況を把握しようとしてたから、あんまりセキュリティ意識が高いわけじゃないみたい。むしろ、どんどん賢くなってる気がする。もしこれをプレイライトで調査みたいにフレームしたら、いろいろやってくれるんじゃないかな。正直、他のモデルが明らかにそうじゃないのに、自分のモデルをこんな風に制約する意味があるのかは分からないけど。

いいね。

gpt 5.5で見つかったんだけど、7回中10回はMythosに簡単に見つかるよ。

笑、こういうコメントの意味って何なんだ？これが「ソース：信じてくれ、兄弟」っていう究極のコメントだよ。gpt3以降のすべてのモデルが「リリースするには危険すぎる」って言われてきた。リリースするのが高すぎるんだし、あなた自身も10Bパラメータ未満のローカルモデルなんじゃない？

メッセージありがとう！投稿でも言ったけど、これは全然科学的じゃないんだ。複数のモデルを「モデルと一緒に作業する」方法で複数回実行するには、どうするつもりなのかすごく興味あるよ。

クロードは昔はCTFに強かったけど、最近たくさんのガードレールが追加されて、今じゃ「ごめん、その件には手伝えないよ」って言うだけ。

完全に同意するし、誰か他の人がこのテストをできることを願ってる！私にとっては、コストとクォータの問題で新しいアカウントに移行できなかったんだ。それと、Claudeのガードレールはセッションが終了するけど、GPTのガードレールはアカウント全体が遅くなるからね。

オーパス4.8のガードレールが外せないとき、そんなの関係ある？GPTなら外せるし、しかも早いよね。

Mimo v2.5 proの結果が見たいな、最近すごく話題になってるし。