ハクソク

世界を動かす技術を、日本語で。

AI企業があなたに恐れを抱かせたい理由

11日前原文(bbc.com)

概要

  • AI企業Anthropicが開発した新モデルClaude Mythosの危険性を強調
  • AI企業は自社技術の脅威を訴えつつ販売を進める矛盾
  • 恐怖を煽ることで規制回避や市場独占を狙う戦略
  • Mythosの実力やリスクには専門家から疑問の声も
  • AIの規制や社会的責任についての議論の重要性

AI企業が自ら語る「危険なAI」の矛盾

  • Anthropic が開発した最新AIモデル Claude Mythos の危険性を強調

  • Mythosは サイバーセキュリティの脆弱性発見能力 が人間専門家を大きく上回ると主張

  • 「誤った手に渡れば 経済・公共安全・国家安全保障 に甚大な被害」と警告

  • しかし、 実際には販売や提携を進める 現実

  • AI企業が「自社技術は危険」と発信する独特なPR手法

    • 例：OpenAIも過去に「GPT-2は危険」と発表しつつ後にリリース
    • CEOたち自身が「世界の終わりを招くかもしれない」と発言

恐怖マーケティングの狙い

  • 批判者によれば、 AI企業は終末論で注目を集める ことで
    • 現在進行中の環境破壊や労働搾取などの現実的な問題から目を逸らす
    • 技術の危険性を誇張し 株価や市場価値を高める
    • 規制当局に「自分たちしか制御できない」と思わせ 規制回避 を狙う
  • 「唯一頼れるのはAI企業自身」という 無力感の演出
  • University of Edinburghの Shannon Vallor教授 の指摘

Mythosの実力と疑問点

  • Anthropicは 数千件の重大な脆弱性を発見 したと発表
  • 40以上の企業・団体と提携し セキュリティ強化 を推進
  • しかし、 誤検知率（False Positive Rate） など業界標準の指標を公開せず
  • 既存ツールとの比較検証も未実施
  • AI Now InstituteのHeidy Khlaaf博士 による懐疑的な見解
    • 「Mythosに超越的な力があるという物語には多くのほころび」

AI企業のインセンティブと社会的責任

  • OpenAIは非営利組織として設立されるも、後に営利化
  • Anthropicも「安全性最優先」の方針を撤回し、株式公開を視野
  • 企業インセンティブが行動を決定
  • GoogleはAI兵器開発の「レッドライン」を撤廃
  • 「市場支配の機会を善意で放棄する企業は期待できない」とVallor教授

終末論とユートピア論の両立

  • AI経営陣は「破滅」も「救済」も同時に語る
    • 例：Sam Altmanは「AIが気候危機解決や宇宙進出を実現」と主張
    • Dario Amodeiは「データセンターに天才が集う国」と表現
  • 終末論もユートピア論も 規制やガバナンスを無効化する神話化
  • 「AIは人間の制御を超えた存在」という誤った印象の拡散

AIは本当に制御不能か？

  • 過去にも「Metaverseが世界を変える」「Bitcoinが通貨を置き換える」などの誇大な未来予測
  • 実際には AIも他の技術同様に規制・管理可能
  • 核兵器や生物兵器ですら人間社会が規制してきた歴史
  • 「AIだけが制御不能」とする物語への批判

結論：AI規制と社会的議論の必要性

  • AIのリスクは現実だが、 過度な恐怖や神話化は企業の利益誘導
  • 社会がAIの未来を 主体的に議論し、規制・ガバナンスを設計 する重要性
  • AIは「神」でも「悪魔」でもなく、人間が管理すべき 単なる製品

参考 ：

  • BBC「Tech Decoded」ニュースレター
  • OpenAI、Anthropic、Google DeepMindなどの公式発表

Hackerたちの意見

やっとメディアも気づき始めたね。リー・ヴィンセルの批評的な記事は、今から5年前にこのことを指摘してた。今のチャットボット経済ができる前にね。

└

メディアは全然気づいてないよね。「AIが私たちを全員殺す！」って恐怖を売りたいときにループしてるし、「AI企業が無駄にエネルギーや水を浪費してる！」って怒りを煽りたいときに使ってる。ライターや編集者は自分たちが何をしてるか分かってるよ。FUDを広めて、無駄に論争を作り出してる。利益のためにやってるのもあれば、特定の agenda のためにやってるのもあるし、全部悪意がある。

「みんな仕事を失って、人類の半分が消えてしまう。」これを言い出すと、人々はなぜ自分たちのスプリント速度が10倍にならないのか疑問を持たなくなる。マネージャーたちは、もっと開発者を雇う代わりに、Agent.mdをリポジトリに追加できるかリードに聞き始める。アポカリプスは売れるからね。彼らは、AIがただの便利なツールだってことを知ってしまうのを恐れてる。これが本当の脅威で、人類に対してではなく、彼らのハイプに対してだ。編集：最近これについて動画を作ったよ。

なぜAI企業は私たちに恐れを抱かせたがるのか？... 批判者によると、AI企業にとってアポカリプスに固定させることは利益になるから、彼らがすでに世界に与えている現実のダメージから目を逸らさせるんだ。人々はAIが非常に危険なのかそうでないのか決められないみたい。AI企業とこの著者が同意しているのは、この技術が潜在的に非常に危険であるということ。AIは労働市場、環境、戦争、メンタルヘルスなどに影響を与える。今や、AIが影響を与えないものを見つけるのが難しくなってる。だから、AIが潜在的に危険だと認めるなら、タイトルの質問は無意味になる。AI企業もこの著者も、AIが社会に与える危険を人々に知ってもらいたいと思ってる。本当の問題は、私たちはそれに対して何をするかだ。このニュアンスは、AIが素晴らしい可能性を持つこともあるってこと。火の発明のように、良い使い方も悪い使い方もできるし、その過程で多くの意図しない結果が生まれる。私たちはAI技術を立法化して禁止することもできる。これを真剣に提案している人もいるけど、完全に非現実的に感じる。もしアメリカがAI研究を禁止したら、その研究は他の場所に移るだろう。火が危険だからといって禁止しようとするのと同じだ。あるグループは火を使う方法を学び、使わないグループに対して極端なアドバンテージを得ることになる（またはその過程で自滅するかもしれない）。だから、AI企業を悪者にするのではなく、この技術についてニュアンスのある議論をして、私たちの社会にとって最善の解決策を提案するべきじゃないかな？

└

「だから、AI企業を悪者扱いする代わりに、この技術についての微妙な議論をして、私たちの社会にとって最善の解決策を提案しようよ？」これは相反することじゃないよね。人々を恐怖で自社製品を使わせようとする悪行を指摘するのは、その技術自体を非難しているわけじゃない。

└

人々はAIが非常に危険かどうか決めかねているみたいだね。今のところ、ほとんどの人が最近のAIは非常に危険だと認識している。ただ、どのように危険なのか、どの危険を一番心配しているかで意見が分かれている。環境への悪影響を心配している人もいれば、AIが重要なことをひどい結果でやるのではないかと心配している人もいる。でも、企業はお金を節約するためにAIを使うだろうし、その結果私たちが苦しむことになる。AIが自分たちの仕事を奪うことを心配している人もいるし、AIが仕事をつまらなくするのではないかと心配している人もいる。中には、私たちの誇張されたチャットボットが意識を持って、地球を支配する神になると思っている人もいる。そういう危険の中には、明らかにもっと即座で現実的なものもある。今はそういうことに焦点を当てるべきだと思う。まずは、AIが引き起こしている環境への悪影響を制限して、企業にそのコストと影響に責任を持たせることから始めよう。例えば、ある企業がデータセンターを作るために電力料金を上げることを禁止することもできる。そうすれば、その企業が全てのコストを負担することになる。AIを使って雇用判断をして差別が起きたら、その企業の実際の人間が法的に責任を問われるべきだし、AIが誤って販売価格を提示したら、その価格を守らせるべきだ。AIが容疑者を誤認して無実の人が刑務所に入ることになったら、その人間が責任を負うべきだ。自律型武器のような重要なことにAIを使うのは禁じるべきだ。信頼できないAIに任せるには重要すぎるからね。もっと極端なことをして、失業した人がホームレスにならないように社会的安全網を改善したり、AIをローカルでホストできるように投資したり、企業にモデルやトレーニングデータを公開させることもできる。そうすれば、権力が少数の企業や個人に集中することを防げる。選択肢はたくさんあるけど、結局は私たちが何を望むか、選挙で選ばれた人たちが企業の利益より私たちの利益を代表してくれるかどうかにかかってる。

└

「人々はAIが非常に危険かどうか決められないようだ。これはプロパガンダの戦術だ。数十年にわたり、タバコ会社は喫煙が健康に悪い証拠はないと主張してきた。そして、何十件もの訴訟に負けた後に、プロパガンダは「でも、喫煙が致命的だってことは100年以上みんな知ってた」って方向に切り替わった。これについては『Trust Us, We're Experts』や『Toxic Sludge Is Good For You』などの本を読めばわかるよ。」

「AI Now InstituteのチーフAI科学者、ヘイディ・クラーフ」って名前は聞いたことないけど、この記事の感情は脆弱性研究のシーンとは真逆だね。脆弱性研究者の間では、Mythosの影響について意見が分かれてる。でも、「フロンティアモデルが脆弱性研究を揺るがして、重大な脆弱性の洪水を引き起こすのか？」ということではなく、ソフトウェアセキュリティの人たちはそれが真実だと圧倒的に信じてる。むしろ、Mythosが4.7や5.5から本当にステップチェンジなのかどうかが問題なんだ。脆弱性研究者にとっての大きな「ニュース」はMythosではなく、カールリーニのUnpromptedでのトークで、彼がステージに上がって「ゼロデイを見つけて」っていう一見バカみたいなプロンプトを見せたことなんだ。実際にそれが機能したからね。今、脆弱性研究者たちの大きな質問は「AIかAIでないか」ではなく、「モデルから直接動かすか、面白いハーネスを作るか」なんだ。その後、クラーフとプロとして知り合いの人と話したけど、クラーフは真剣な研究者だけど、ソフトウェアセキュリティの研究者ではない。彼らの分野ではないんだ。ここで起こっているのは、BBCがAIの安全性の予測とソフトウェアセキュリティの予測の違いを知らないか、それぞれのトピックについて誰に話すべきかを理解していないってことだと思う。

└

「ゼロデイを見つけて」っていうプロンプトが効果的だったとは全然思えないんだけど、これに関する証拠は全く知らないからね。Anthropicのレポートでは、Mythosがいろんなオープンソースプロジェクトで見つけたバグについて説明していて、「ゼロデイを見つけて」みたいなプロンプトはMythosには通用しないって認めてる。バグを見つけるために、彼らはスキャンしたプロジェクトの各ファイルに対してMythosを何度も実行して、いろんなプロンプトを試してるんだ。まずは、そのファイルにバグがある可能性を探るための一般的なプロンプトから始めて、Mythosを何度も実行する価値があるかどうかを判断するんだ。その後、より具体的なプロンプトを使って、さまざまなバグのクラスを特定していく。最終的に、バグが存在する可能性が高いと判断されたら、もう一度Mythosを実行して、特定されたバグが存在するかの確認を求めるプロンプトを使う（そしてエクスプロイトやパッチを作成する）。Carliniについて言ってることは、AnthropicのMythosに関する技術レポートと明らかに矛盾してるから、単なるデタラメか、人工的なバグがある偽のプログラムでのデモ実行だったんじゃないかな。それか、いわゆるプロンプトはLLMのプロンプトじゃなくて、バグ発見用のハーネスのコマンド名だったのかも。Anthropicが説明してるように、LLMをループで実行するための適切なプロンプトを使って。

私の見解は、「これが危険に満ちた力だと言えば、人々は私たちの製品を買いたくなる」というよりも、xリスクやAIの整合性が取引の決定打になるAI研究者の重要なセグメントがいるってこと。だから、サム・アルトマンたちは、才能を引きつけて維持するためにこれらの懸念を真剣に扱わなければならない。例えば、OpenAIが計算リソースの20%を安全性研究に捧げると誓ったことを見てみて。サムがそれを実行するつもりだったとは思えないけど、彼の従業員の一部にとっては非常に重要だったみたい。両方の側面をうまく扱おうとすることが、イリヤの退職に少なからず寄与したようだ。一方で、ダリオは自分自身がもっと真の信者のように見える。

└

そのバイトアンドスイッチのせいで、離れていく人が何人かいるみたい。あの20%は実際には2%か1%に近いものだったみたい。

└

うん、AI企業がみんなに自分たちの技術を恐れさせることで何か得られるとは思えないな。彼らが言っていることを本気で信じている方が、4Dチェスのような何かだと思うのはもっと理にかなっている。さらに、ダリオはこれまでの予測が本当に正確だったからね。例えば、2025年の初めに彼は2026年にはほぼ100%のコードがAIで書かれると予測していた。

└

僕の考えでは、「これが危険なほど強力だって言わなければ、必要な才能を雇えない」ってのは、「これが危険なほど強力だって言えば、人々が私たちの製品を買いたくなる」っていう供給側のバージョンだね。

└

超ナイーブだね！

└

もしかしたらアルトマンはこの話に対して口先だけかもしれないけど、アンソロピックみたいな会社が「やばい、ミトスは危険すぎるからリリースできない、信じてくれ」って言ってるのを見ると、僕の BS センサーが無視できないほど鳴ってる。明らかにこれは宣伝のためのパフォーマンスだよ。本当に危険なら、そんなプレスリリースなんて出さずに、黙って安全にするために働いてるはずだ。

大きな秘密は、AIはただのソフトウェアだってことだと思う。金融会社が突然、マイクロソフトがExcelのアップデートを出したからといってお金をたくさん稼ぐわけじゃないのと同じで、AIは意図がなければ無力なんだ。AIの出力に大きな成功があるのは、誰かがそれを実現させたから。Claude Codeは素晴らしいけど、指示されていないのにデータベースを消去することもある（経験から確認できる）。何か秘密の革新がすぐに出てくるという考えは、動作するために人間の関与が必要なソフトウェアであるという事実を変えない。

└

そうだね、LLMの初日から言われていることは、すべて人間の介入なしには行動しないようにすることだよ。AIに直接生産システムを変更するアクセスを与えないべきだとも言われていた。でも、実際にそうした人たちがシステムを壊したり削除されたりした話を見ると、基本的な安全ネットすら維持しようとしていないことが分かる。AIは強くなりすぎていて、もし人々が一般的な指示と生産システムへのアクセスを与えたら、悪い結果になる可能性がある。エージェントAIのすべての実装がすべての行動に人間の介入を必要とするわけではない。

└

人間の相互作用が必要なソフトウェアであることは変わらない。クラウドコードがサブエージェントを立ち上げるのを見たことある？使ったことあるよね？サブエージェントを立ち上げて作業するのを見たことある？それが実際にクラウドコードが自分で動いているってことを理解してるよね？

└

市場は他のビジネス以外の誰にとっても意味がないと思う。みんな、AIが社会の下層をどうやって消し去るのかを理解しようとするアリみたいなもんだよね。

└

LLMモデルは分布だ。Pythonスクリプトやターン機械とは違って、LLMモデルは任意のトークンの系列を生成することができる。開発者はLLMエージェントを決定論的に考えるのをやめ、モンテカルロやラスベガスアルゴリズムの観点からエージェントを考えるべきだ。エージェントを持つだけでは不十分で、安価な検証者も必要だ。もし私が今の博士課程の学生なら、LLMエージェントのための安価な検証者についての論文を書くと思う。LLMエージェントは信頼性がないため、これなしではあまり役に立たない。それは兆ドル規模の問題だ。この概念を理解した開発者は、エージェントが怖いものではなくなり、その可能性は大きくなる。

└

エラーを「意識」って呼んで、そのトークンを売り続ければいいんだ！臆病な世代に最後のバブルを楽しませてやれ！

└

AGIの脅威が彼らを混乱させる手助けをしてる。

批評家によると、AI企業にとっては、あなたを黙示録に夢中にさせることが利益になる。なぜなら、それが彼らがすでに世界に与えている現実のダメージから目を逸らさせるからだ。両方について心配してはいけないの？サム・アルトマンや他のAI企業の幹部がシンギュラリティが迫っているとは思ってないと思う。もしそうなら、そんな無茶な行動はしないはずだよ。彼らが人類のことを気にしていないとしても、自分たちが言っていることを本気で信じていたら、リスクが大きすぎる。でも、将来のAIによる黙示録について心配するのは正しいと思う。個人的には、LLMが完全な意識にスケールするとは思わないけど、いつかはそうなると思う。2年後か200年後かは分からないけど、それについて心配してる。AI企業で働いていない賢い人たちもこの考えを持っていて、特におかしいとは思えない。でも、今の社会でAIが引き起こしている現実の害にまず焦点を当てるのは当然だね。

└

サム・アルトマンや他のAI企業の幹部たちが、特異点が迫っているとは思っていないと思う。もしそう思っていたら、そんな無謀な行動はしないだろう。彼らが人類のことを気にしていなくても、自分たちにとってリスクが大きすぎるから、実際に言っていることを信じているとは思えない。ザッカーバーグが約束や危険を信じているとは思わない。彼のプレゼンテーションはあまりにも平凡だ。漏れたメモによれば、彼は危険を気にしていないかもしれない。それがもっと悪い。アルトマンは少なくとも、LLMが有害なツールとして使われる可能性があると考えていて、産業時代の事故や災害のAIアナロジーを避けるために最低限以上のことをしているようだ。マスクは明らかに、法律は他人を攻撃するために存在すると考えている。彼は広範な嫌悪感を引き起こすツールを維持しようとしていて、言論の自由の議論だけで十分だと思っている。アモデイは、アンソロピックに痛手を与えることがあっても、実際に気にかけているように見える。「いいえ」と米国政府に言ったことがその証拠だ。これはカイファベかもしれないが、トランプが有名だから、今のところアモデイを単なるそれとして否定する理由はない。

これは僕の見解で、少し前に投稿したことに直接関連してる。この記事が見落としていると思うのは、彼らが扱っている地政学的な視点だね。* 中国に勝たせないために、アメリカの企業を完全に規制緩和する必要がある。* ルールに従っていない人には厳しく規制する必要がある。* これはすごく強力で、全ての仕事を奪う（だから、AIを使っていない会社を率いているなら、すぐに時代遅れになる）。* AIを使わなければ、未来の仕事で機能できなくなる。* 政府の友達に連絡して、オープンソースの供給を止めるための口実を用意する必要がある。彼らは恐怖を動機に選んでいて、明らかにうまくいってる。今は新しいから恐怖を使う方が簡単で、人々が慣れてきたらストーリーをひっくり返す方が難しい。企業は自分たちの製品を盛り上げるためのストーリーを語っているだけじゃなく、自分たちだけがそれを構築するにふさわしい存在だと主張している。

└

「人間より賢いAIを作るレースは、勝者のいないレースだ。」特に中国についてのポイントですが、中国の権力者たちもAIを規制し、人類に利益をもたらすための国際的なガバナンスの枠組みを整える必要があると発言しています。

└

これの結果、アメリカ政府がLLMをATFが武器を分類するように分類・規制するようになるんじゃないかな。つまり、LLMを運営するためのライセンスが必要になるってこと。特定のモデルやフレームワークの「力」に関する異なる分類や判断があって、DIYマシンガンやサプレッサーが禁止されてるみたいに、ほとんどのオープンソースモデルが全面的に禁止される。オープンソースモデルの自己ホスティングを分類・規制するための基準を、FFLが機能するのと似たような感じで考えてみて。できるけど、すべての書類を整えて、バックグラウンドチェックや有効なビジネスライセンスを持ってないとダメだし、もし「i」を点を打ち忘れたり「t」を交差させ忘れたりしたら、サイバー版のATFが来てお前の犬を撃ち殺すぞ。

└

テクノロジーの権力者たちは、自分たちのアルゴリズムから恐怖が何でも売れるってことを学んで、その教訓を「思想的リーダーシップ」に持ち込んだんだ。

└

「規制緩和」ピーター・ティールは文字通り反キリストについて講義をして、基本的に規制は悪魔的だと言ってた。彼はこの講義に最適な人物だよ。テーマについて第一人称の知識を持ってる唯一の人だから！

└

アメリカで規制されている兆ドル企業ってどれ？

└

ルールを守らない人たちには厳しく規制する必要があるよね。どうせなら、アメリカ、中国、インド、EU、アフリカなど、いろんな地域がそれぞれの主権技術を持って、自分たちの勝者を作るような多極的な世界を築くのはどう？

└

うん… このスレッドと記事を見て、終末論を持ち上げるためのいろんなインセンティブがあることに気づいたよ。それに、エリエザーたちの終末論を中和しちゃうんだよね。

AI企業のリーダーたちが、経済的混乱の原因や潜在的な絶滅リスクとしてのAIの危険性について懸念を抱いたのは、彼ら自身の発明ではない。『スーパインテリジェンス』が2014年に出版された時点でも、これは新しい話題ではなかった。技術者、哲学者、SF作家たちは何十年も前からAIリスクについて議論し、推測してきた。また、AIのリーダーたちがこれらの懸念をマーケティング目的で利用したというのも信じがたい。新しい製品を大衆に売り込むために、その危険性や世界を終わらせる可能性について話すのは、最も狂った戦略だと思う。人々の注意を引くための利点は、製品を使ってほしい人々の心に作り出す巨大なネガティブな連想によって完全に打ち消されるし、業界に不要な監視や規制をもたらす可能性も高い。（鉄道業界全体が「新しい列車はすごく速いから、もし事故が起きたら乗っている全員が死ぬ！周囲の人も死ぬ！大惨事になる！」と言うのを想像できる？そんなことはしないよね。合理的な戦略はリスクを過小評価し、人々を安心させることだ。リスクが過大評価されていると本気で思っているなら、なおさら。）オッカムの剃刀は、AI業界がAIリスクについて警告したとき、彼らが言っていることを信じていたと示唆している。彼らは新しい急速に進化する技術を持っていて、その危険性についての実際の経験がないため、既存の議論を参照し、それが非常にリスクが高い可能性があると結論づけた。そして、実際にそうなる場合に備えて、そうした議論をしていたのだろう。もしAIが大量失業を引き起こすと警告し、実際にそうなったら、注意を払わなかった政府に責任を転嫁できるかもしれない。AI業界にあまり同情する必要はないと思うけど、AIの安全性には「やっても叩かれる、やらなくても叩かれる」という側面が確かにある。リスクを過小評価すれば無視していると非難され、リスクについて話せば最悪の事態が起こらなかった場合に脅かしていると非難される。

└

とてもよく言ったと思うし、ここで言うべきことはほとんどカバーされているね。実際、AIの倫理やAIの危険性についての議論をリードしてきたのはAIの人たちで、1955年から続いている。この話題は新しくもなく、一貫している。新しいのは、一般の人々がAIについての議論に参加し始めたことだ；そして、公共の場での他のほとんどのことと同じように、全く文脈なしでやっている。全くの初心者が、よく研究された分野で問題に直面しているのを見るのが大好きだ。まるで自分が初めてそれに直面したかのように。自分の立場がユニークだと思っている人ほど、もっと自己中心的なことはない。自分がこのトピックが確立された分野の確立されたトピックであるかどうかを調べた証拠が全くないのに。私はこのトピックについて口を開いている99.9999%の人をそこに置く。ほとんどのビルダーはこの混乱を気にしていなくて、いつも通りに仕事を続けている。

└

もう一つ重要な視点は、世間の怒りが特定の人に向けられていることだね。Googleも他のAI企業と同じくらい頑張ってるけど、魅力のないCEOがいるせいで、すごく嫌われてる。影響力のある企業が目立つリーダーを持つと、悪の権化みたいに見られるし、逆にリーダーがいない企業は、いつものようにただの欲深い会社って感じ。影響力のあるAI企業は目立つリーダーがいるから、ほとんどの人が彼らを嫌って、何か悪いことを企んでると思ってる。実際には、そういう企業の多くは、嫌われてるCEOの影響を取り除いても、会社の運営には何の変化もないんだよね。

これは異常な状況で、どんなアナロジーが合うのか考えちゃう。1950年代にタバコ会社が「タバコは癌を引き起こす」って警告してたとしたら、正直さは評価されるけど、じゃあ売るのをやめればいいのにって思うよね。AIチャットにはたくさんの良い使い方があって、ほとんどの人に直接害を与えないっていう違いがある。AIを悪用する顧客のことが議論から外されてる感じがする。まるで武器商人が戦争の全責任を負わされているような、あるいは武器商人に戦争を止めることを期待されているようなものだよね。一般的な目的を持つ製品が多様なことをできるのは、特定の目的のためだけの武器を作るのとは全然違う。20世紀初頭の自動車メーカーが高速道路や交通、環境汚染を予測していたようなものかも。あるいは初期のドットコム企業がソーシャルネットワークのさまざまな危険を予測していたらどうなっていたか、って感じ。