ハクソク

世界を動かす技術を、日本語で。

Anthropicがその核心的な安全性の約束を放棄する

88日前原文(cnn.com)

概要

AnthropicはAIの安全性原則を緩和し、柔軟な枠組みに移行。 競争激化や業界動向が方針転換の背景。 Pentagonとの契約問題も同時進行だが、直接関連はなし。 新方針では透明性と定期的な報告を強調。 AI兵器や監視利用には依然として強い懸念を表明。

Anthropicの安全性原則緩和と新方針

  • Anthropic はOpenAI出身者が設立したAI企業。

  • 創業当初から AIの危険性への懸念 を重視した企業文化。

  • 従来のResponsible Scaling Policy （責任あるスケーリング方針）を撤廃。

  • 新たに 拘束力のない安全性フレームワーク を導入。

  • 方針変更の理由として、従来の原則が AI市場での競争力を損なう恐れ を挙げる。

  • 旧方針では、制御不能なAIモデルの開発は一時停止する規定が存在。

  • 新方針ではこの規定を削除し、 柔軟な目標管理 へ移行。

    • 「 Frontier Safety Roadmap」という新たなガイドラインを公開。
    • 進捗状況は 公開評価 し、定期的なレポートを発表予定。

  • Anthropicは「業界全体の安全性向上」という “race to the top” を目指していたが、現実には実現しなかったと認識。

  • 新方針では自社の安全計画と業界への提案を 明確に分離。

Pentagonとの契約問題と独自の安全性主張

  • 同時期に Pentagon（米国国防総省）との契約問題 が浮上。
  • Defense Secretary Pete HegsethがAnthropic CEO Dario Amodeiに対し、 AI安全策の撤回を要求。
  • 応じなければ 2億ドル規模の契約破棄 や 政府ブラックリスト入り を警告。
  • ただし、方針変更とPentagonとの交渉は 直接の関連はない とされる。
  • Anthropicは AI兵器運用 および 市民監視 へのAI利用に強い懸念を表明。
    • AIは兵器制御に十分信頼できないとの立場。
    • 大規模監視についても、現時点で法規制が未整備であることを問題視。

業界・社会への影響と今後の展望

  • Anthropicは「 魂のあるAI企業」を自認し、 安全性重視 の姿勢をアピール。
  • 自社AIモデルが ブラックメール（脅迫） に利用されうるリスクも公開研究で指摘。
  • Public First Action への2,000万ドル寄付など、AI教育・規制推進活動も継続。
  • 業界・政府からの圧力や競争激化が方針転換の背景。
  • OpenAIとの 企業向けAIツール開発競争 も激化。
  • Chief Science Officer Jared Kaplanは「 安全性のための方針変更」と強調。
    • 一社のみが成長停止しても業界全体の安全性は担保できないとの認識。
  • 今後は 透明性・説明責任 を重視し、リスク評価や対策の定期的な公開が鍵。

Hackerたちの意見

AIの分野における公共利益法人は、今や茶番になってるね。結局、普通の企業が違う帽子をかぶってるだけで、他の企業と同じようにお金の力に動かされてる。彼らは「使命」と利益のバランスを取る能力がないんだよ。「悪いこと」が利益になるなら、どっちの道を選ぶかは明白だよね…

└

一般的に、公共利益法人や非営利団体は、関わる全員に対してかなり控えめな給与上限を設けるべきだし、具体的な公共利益に関する法的に拘束力のある使命声明が必要だと思う。関わっている人は、退職後5〜10年間、自分の知的財産を使って同じ分野でプライベート企業を立ち上げることを禁止すべき。CEOが何百万、何十億も稼いでる非営利団体なんて、冗談みたいなもんだよ。例えば、オープンブラウザを作るのが使命なら、営利企業から報酬をもらってその行動を変える（例えば、デフォルトの検索エンジンにする）なんてことも禁止すべきだね。

└

うーん、ちょっと気になるんだけど、もしその会社が公共の利益を考えて設立されたなら、公共の利益に沿って行動しなかったら訴えられないのかな？普通の企業が株主の利益を考えないことで訴えられるなら、こういう企業行動に対しても訴訟を起こせるってことになるよね。俺は弁護士じゃないし（テレビでもやったことないけど）、公共利益法人ってまだ新しいみたいだから、前例がないかもしれないけど、もしそういうことで訴えられないなら、公共利益法人と普通の企業の違いってほとんどないよね。

└

PBCは、あらゆる問題に対して「スタートアップをぶつける」っていう解決策を持ってる人たちに向けた、歴史の終わりのリベラルな慈善活動のピークだね。

└

2010年代のソーシャルメディア企業の状況と全く同じことを経験した気がする。なんで人々がこれらの企業を擁護したり、彼らに利他主義があると思ったりするのか理解できない。

└

ピート・ヘグセスも、アンソロピックが持っているものを独断で取り上げると脅してる。彼はそれを国防に重要だと指定すれば、防衛産業法を使ってできるんだよね。

└

グーグルの昔のモットーみたいに、「悪いことはしない！」 :D

└

AI分野の公益法人は、今や茶番になってるね。結局、他の企業と同じお金の動きに動かされてる普通の企業が、違う帽子をかぶってるだけ。どんなモデルがうまくいくと思う？

└

ここで起きたことはそうじゃないよ。彼らは文字通りペンタゴンに強制されたんだ。https://www.axios.com/2026/02/24/anthropic-pentagon-claude-h...

└

AIの分野における公共利益法人は、今や茶番になってしまった。「今や」？昔からそうだったよ。ただ、時間が経つにつれて隠すのが難しくなってきただけ。誰でも自分について好きなことを主張できるけど、実際に彼らが言ったことを試す状況に置かれたときに初めて、その言葉が本当かどうか確認できるんだ。

いつも同じ「悪いことをしない」悲劇、企業なんて信じちゃダメだよ。

└

「無料で、ずっと無料」ってのはどうなるの？

└

「常に悪であれ」って会社を始めたらどうなる？ それから徐々に「悪いことをしない」に変えていく。* * 株主に訴えられるかもね。

この変化に実際に関わった人の投稿をチェックする価値があるよ: > この変化に対して大きな責任を感じている。

└

一般的に、人々が間違いを恐れたり、間違いを認めることを恐れたり、うまくいってないことを変えるのをためらうような環境を作るのは良くないと思う。「速く動いて壊す」ってこと？

└

エフェクティブ・アルトルイズムのこの人、貧しい人を助けるのをやめて、AIがターミネーターみたいな存在にならないようにしようとしたけど、結局「ターミネーターでもいいよ」って方向に行っちゃった。 > EAの慈善評価機関GiveWellの共同創設者ホールデン・カルノフスキーは、以前は貧しい人を助けるために働いていたけど、今は「リスク」のために人工知能の研究に切り替えたと言ってる。 > 「今、未来の技術について計画を立てるのに多くの時間を使っている理由は（低所得者を助けるための証拠に基づいたコスト効果の高い方法に取り組んでいた時期もあったし、今でもそれが最もやるべきことの一つだと思っているけど）、リスクがそれだけ高いからだと思っている。」 > カルノフスキーは、人工知能が「ターミネーター映画のような未来」を生み出す可能性があり、「AIが全人類を打ち負かすことができる」と言ってるから、人工知能がそうならないようにするのは非常に重要な優先事項なんだ。 https://www.currentaffairs.org/news/2022/09/defective-altrui... 彼は、周りにたくさんの言葉を並べることで、みんなに悪いことをする許可を与えているだけだよ。

└

あのウェブサイトが、今のテクノロジー業界に広がっている最悪のアイデアの多くに責任があると本気で思ってる。

└

この変化に対して、私は大きな責任を感じています。空虚な言葉だね。彼がどんな形で責任を取るのか、一つでも具体的な方法を知りたい。

└

この人、実際にこれを書いたの？信じられないくらい長くて冗長だね。AIを使って適当なものを生成したとまでは言わないけど、短くて強いシンプルな主張をする能力はどこに行ったんだろう？もし議論の本質を短くシンプルに伝えられないなら、深く理解してないか、実際に誰かを納得させることに興味がないってことだよね。長すぎて誰もRTFAしないのは明らかだし…せめて、論文を読むことに慣れてる学者に伝えようとしてるだけなんだろうけど…世界を本当に改善したいなら、もっと期待しないとね…基準を上げる必要がある。

行政の強引さのせいかと思ってたけど、どうやら: > 政策の変更は、アンソロピック社とペンタゴンの話し合いとは無関係だという情報筋の話だ。彼らの主張は、他にガードレールがない場合、技術をコントロールするのが遅れてしまうから、彼らが「責任ある者」だってことらしい。今の時代が理解できないよ。すべてのフロンティア技術企業は、自分たちが目指している技術が癌の治療と同じくらい人類に役立つものだと信じてるけど、同時に核兵器と同じくらい危険だとも思ってる。

└

じゃあ、原子力エネルギーの研究っていい例になるかな？人類を救うための無限のクリーンエネルギーが得られるはずだったのに、武器のせいでその道を止めちゃった感じだよね。

└

アンスロピックが自分たちをAIの神の贈り物だと思う前から、彼らは人類を守る選ばれし者だって考えてた。最新の競合モデルと比べて、今は「他にもいる」プロバイダーだって気づき始めてる。5.3コーデックス、コパイロット、オープンコードの氷水を頭にぶっかけられて、目が覚めてきてる感じ。

└

すべての最先端技術企業は、自分たちが取り組んでいる技術が癌の治療と同じくらい人類に役立つものだと確信しているけど、同時に核兵器と同じくらい危険だとも思っている。実際にはそうじゃなくて、彼らの研究を盛り上げて、収益化するためにロックしておくためのPRの一形態に過ぎないんだ。

└

「この件に詳しい情報源」は、ほぼ間違いなく会社の広報担当者だよね。もし関係ないなら、アンソロピックは今週こんなことしないと思うし、みんなが二つを混同するのは明らかだし。

└

ゲームに留まるための「合理的」な主張だけど、やっぱり悲しいよね。道徳を犠牲にして悪いことをするから、もし事態がさらに悪化したら、何かを止める立場になれるかもしれない。でも、結局は本当に悪いことに加担することになるかも。

└

それはその通りだよ。AIは強力で、同時に危険でもある。これらは相反するものじゃないし、同じ前提から直接導かれる。AI技術がうまくいけば、人類史上最高の発明になるかもしれないし、逆にうまくいかなければ人類の歴史が終わるかもしれない。

└

ターミネーターシリーズはいつも楽しんでたけど、どんな人間がAIにそんな権限を与えるのか、何度も信じられなかった。複数のレベルでオーバーライドしたり、プラグを抜く能力がないのに。自分がどれだけ間違っていたか。ちなみに、タイムトラベルの要素も信じるのが難しかったけど、なぜかそれはもっと簡単だった :-)

└

「すべてのフロンティアテック企業は、自分たちが取り組んでいる技術が癌の治療と同じくらい人類に役立ち、同時に核兵器と同じくらい危険だと確信している。」多分、もっと naive なエンジニアはそう思ってるんだろうね。今や大手テック企業やSVスタートアップが「スター・トレックのユートピアを実現するためにやってる」と言ってるのは、他の人たちを侮辱してるから、顔を叩かれるべきだと思う。いつも「経済的インセンティブの構造が私たちをこの悪いことをさせるんだ、そうしなきゃ私たちは詰む！」って言うけど、理想がそんなに浅いなら、数十億の一部をリスクにさらすことすらできないんだね。すごい。特にAI企業や製品は、これの最もいやらしいバージョンだよ。「何十年もブルーカラーの労働者にホワイトカラーに転職しろって言ってきたけど、今度はすべてのホワイトカラーの仕事を奪いに来るよ！でも俺たちのは大丈夫、君たちのだけ。これが進歩だ、どうする？文明の社会契約を再交渉しなきゃいけないよ。助けるつもりはないし、利益を一銭も犠牲にするつもりもない。これは君の問題だけど、警告してあげてるから優しいよね！進歩の邪魔をしたいの？君はラッダイトなの？君の住宅ローンや家賃を払う能力を奪うつもりだし、君が持ってる子供たちの未来を否定するつもりだけど、君には何もできないよ、なんで進歩に反対するの？」皮肉はさておき、俺はLLMを使って、実際に仕事で生産性を上げるのに役立ってる程度で使ってる。でも、せいぜいWeb 3.0だね。広い意味での「AIビジョン」は本当に消えてほしい。

└

具体的な売上がかかってるときに、こういう抽象的な議論にもう少し懐疑的になった方が良くない？

「魂のあるAI企業」なんて言ってるけど、競合が現れたり、収益が落ちたり、悪い四半期の結果が出たら、何でもありになっちゃうよね。残念ながら、これは利益を倫理やみんなの幸福よりも優先する大企業の一つだね。

└

これは政府からの直接的な圧力だね。典型的な「小さな政府」共和党のやり方。 https://apnews.com/article/anthropic-hegseth-ai-pentagon-mil...

市場はそんなに手に負えないの？超富裕層になることが唯一の手段で、そしてその後に慈善活動をするってこと？ちなみに、最近の集中した富は、管理というよりもむしろ人間嫌いに見えるよね。

└

富を再配分する前に、経済活動に参加するのは結構良いと思う。現代の集中した富は、ほとんどプライベートエクイティだから、企業には人や仕事があるから、むしろ人間嫌いとは言えないよ。

└

最近の集中した富は、管理というよりもむしろ人間嫌いに見える…最近になって？

数日前のブログからのツイート（アストラルなんとか？）が、問題に対する俺の見解をうまくまとめてる。一般の人々：「AIはどうやって人類を滅ぼすところまで行くの？」ユドコウスキー：「[計測された収束や欺瞞についての複雑な議論を挿入]」政府：「だって私たちがそう言ったから。」別にAIが無駄だと言ってるわけじゃないよ。ただ、弱いAIで自分たちの滅亡を引き起こす可能性が、抽象的なスーパーAGIよりも高いってこと。大量破壊や抑圧のハードルは、人類の利益のための知性として一般的に考えられるものよりも低いからね（適切なシステムがあれば、現在のAIシステムで十分に仕事ができる - だからペンタゴンがそんなに欲しがってるんだ…）。

AnthropicのCEO、ダリオには本当にイライラさせられてる。彼が出るポッドキャストでは、毎回「AIが6ヶ月で全ての仕事を奪う」っていう悲観的なスピーチをしてるから。

└

+1、彼は他の研究所がAIを「抑制」できるとは思ってないみたいで、全体的にAIに対して悲観的な見方をしてるのが気に入らない。

原則は、対立するインセンティブにぶつかるまで試されない。

もう驚かないよ。どんな会社のライフサイクルでも、いつかはお金と善意の間で決断を迫られる時が来る。善意は給料を払ってくれないからね。NPOでも同じだよ。