リリースすべきじゃなかった ジーニーはもう出てしまったよ。Anthropicが他の誰にも真似できない魔法使いやスーパーヒーローを隠しているとでも思わない限り。

LLMでは、LLMの動作方式からして、完全な否定はほぼ不可能だよ。そうだね。AIの安全性は意味がない。 "悪い文字列"のセットを定義することはできないし、タイプライターを持った億の猿たちが最終的にはそれを生み出すことになる。LLMの出力を制約するための「安全」システムには、必ず漏れが出る。だけど、実際に重要なものにLLMを接続するほど無責任でなければ、これはあまり関係ないよ。確かに、脆弱性を見つけるのが驚くほど加速するけど、数十年のセキュリティ研究からわかるように、これは開発者、ブラックハット、ホワイトハットの間の三者間の問題なんだ。アメリカが常に技術的優位性を持ち、中国に対して拒否権を持つっていう戦略がうまくいくとは思わないでおこう。

「明らかにLLMでは、バレットプルーフな否定は不可能だ。LLMの動作方式からして、分類器ベースの否定に何度もぶつかった科学者として言うと、Anthropicの戦略は、たくさんの誤検知を犠牲にしてでも否定をより堅牢にすることだった。入力と出力トークンを処理する別の分類器を持つことで、非常にシンプルで、ほぼキーワード検索レベルのものだった。このアプローチの弱点は、正しいキーワードを使ったものしかキャッチできないことだ。ある意味では、LLMベースの分類器が強いところで弱い。化学用語を使った抽象的でCSに近いアルゴリズムの研究はすぐにブロックされたが、化学や生物実験に直接関連する作業、特に生物サンプルに関連する特定の顕微鏡セットアップからの画像を処理するためのコードを書く作業は全くブロックされなかった。なぜなら、関連するキーワードを使わなかったからだ。この状況と一致しているのは、バグを探す文脈でバグを見つけて修正する作業が、たまたま「エクスプロイト」や「サイバーセキュリティ」といった言葉を使わなかったからかもしれない。」

IPOがなければ、AnthropicはOpus 4.898という別のモデルを出荷して、みんながまた「自転車に乗ったアヒル」テストをして、前のバージョン4.897より少し良い結果を出して、次に進んでいたと思う。でも、IPOが控えているから、イランが核を生産するのを可能にするモデルについての大騒ぎが起きてる。ああ、そのカードは使われたから、タリバンがアメリカ人や本当に悪い人たち（ベネズエラ人？キューバ人？ソマリアのサッカー審判？）を殺すための魔法の毒を作るか、Githubに侵入してGithub Actionsをさらに悪化させる（もしそれが可能なら）という話になるかもね。

アンスロピックにはコミュニケーションやPRの問題がいくつかあることには同意するけど、Fableが前の最先端に比べてここで何か利点を示しているとは思えない。アンスロピックの発言が全て真実だとは言わないけど、ミトスは確かに多くの正当なセキュリティの脆弱性を見つけたようだ。限定的なパートナーに対して役立つモデルをリリースしつつ、これらの技術の最先端を進めない非常に制限されたモデルをリリースすることについて話せるはずで、それが彼らがやったことのように思える。それには本質的な矛盾はないよ。

アシモフが、単純な明確なルールベースのシステムがエージェンシーを制限するのに効果的でないという話をたくさん書いたのが面白いよね。その話は1940年代に最初に発表されたんだ。80年後、AIに近いものができて、単純な明確なルールで制限しようとしてる。これは、私たちがその教訓を学ばなかったからじゃなくて、単にもっと良い方法を思いつかなかったからだと思う。おそらく、良い方法自体が存在しないから。面白いのは、ルールを回避しているのがAIではないってこと。これはサイエンスフィクションでのシナリオだけど、実際にはそうなってない。ルールを回避するためにAIエージェントを使うのは人間のユーザーなんだ。現在のAIエージェントは「エージェント」と呼ばれているけど、特定の何かをすることができないみたいだね。少なくとも今のところは。

ただの市場操作だね。

いや、これは規制の捕捉だよ。Anthropicが現在のリーダーで、彼らは中国の競争を排除するために規制を強制して、自分たちの地位を確保したいんだ。

うん、基本的な賄賂に対してみんなが無駄にエネルギーを使いすぎてる。AnthropicはDoDと協力することに同意するだろうし、ホワイトハウスの内部者たちはIPO前の美味しい配分を手に入れて、Fableは魔法のように「修正」されてまた使えるようになるんだろうね。