AI企業があなたに恐れを抱かせたい理由

2026年4月30日原文(bbc.com)

概要

AI企業Anthropicが開発した新モデルClaude Mythosの危険性を強調
AI企業は自社技術の脅威を訴えつつ販売を進める矛盾
恐怖を煽ることで規制回避や市場独占を狙う戦略
Mythosの実力やリスクには専門家から疑問の声も
AIの規制や社会的責任についての議論の重要性

AI企業が自ら語る「危険なAI」の矛盾

Anthropic が開発した最新AIモデル Claude Mythos の危険性を強調
Mythosは サイバーセキュリティの脆弱性発見能力 が人間専門家を大きく上回ると主張
「誤った手に渡れば 経済・公共安全・国家安全保障 に甚大な被害」と警告
しかし、 実際には販売や提携を進める 現実
AI企業が「自社技術は危険」と発信する独特なPR手法
- 例：OpenAIも過去に「GPT-2は危険」と発表しつつ後にリリース
- CEOたち自身が「世界の終わりを招くかもしれない」と発言

恐怖マーケティングの狙い

批判者によれば、 AI企業は終末論で注目を集める ことで
- 現在進行中の環境破壊や労働搾取などの現実的な問題から目を逸らす
- 技術の危険性を誇張し 株価や市場価値を高める
- 規制当局に「自分たちしか制御できない」と思わせ 規制回避 を狙う
「唯一頼れるのはAI企業自身」という 無力感の演出
University of Edinburghの Shannon Vallor教授 の指摘

Mythosの実力と疑問点

Anthropicは 数千件の重大な脆弱性を発見 したと発表
40以上の企業・団体と提携し セキュリティ強化 を推進
しかし、 誤検知率（False Positive Rate） など業界標準の指標を公開せず
既存ツールとの比較検証も未実施
AI Now InstituteのHeidy Khlaaf博士 による懐疑的な見解
- 「Mythosに超越的な力があるという物語には多くのほころび」

AI企業のインセンティブと社会的責任

OpenAIは非営利組織として設立されるも、後に営利化
Anthropicも「安全性最優先」の方針を撤回し、株式公開を視野
企業インセンティブが行動を決定
GoogleはAI兵器開発の「レッドライン」を撤廃
「市場支配の機会を善意で放棄する企業は期待できない」とVallor教授

終末論とユートピア論の両立

AI経営陣は「破滅」も「救済」も同時に語る
- 例：Sam Altmanは「AIが気候危機解決や宇宙進出を実現」と主張
- Dario Amodeiは「データセンターに天才が集う国」と表現
終末論もユートピア論も 規制やガバナンスを無効化する神話化
「AIは人間の制御を超えた存在」という誤った印象の拡散

AIは本当に制御不能か？

過去にも「Metaverseが世界を変える」「Bitcoinが通貨を置き換える」などの誇大な未来予測
実際には AIも他の技術同様に規制・管理可能
核兵器や生物兵器ですら人間社会が規制してきた歴史
「AIだけが制御不能」とする物語への批判

結論：AI規制と社会的議論の必要性

AIのリスクは現実だが、 過度な恐怖や神話化は企業の利益誘導
社会がAIの未来を 主体的に議論し、規制・ガバナンスを設計 する重要性
AIは「神」でも「悪魔」でもなく、人間が管理すべき 単なる製品

参考：

BBC「Tech Decoded」ニュースレター
OpenAI、Anthropic、Google DeepMindなどの公式発表

Hackerたちの意見

やっとメディアも気づき始めたね。リー・ヴィンセルの批評的な記事は、今から5年前にこのことを指摘してた。今のチャットボット経済ができる前にね。

└

メディアは全然気づいてないよね。「AIが私たちを全員殺す！」って恐怖を売りたいときにループしてるし、「AI企業が無駄にエネルギーや水を浪費してる！」って怒りを煽りたいときに使ってる。ライターや編集者は自分たちが何をしてるか分かってるよ。FUDを広めて、無駄に論争を作り出してる。利益のためにやってるのもあれば、特定の agenda のためにやってるのもあるし、全部悪意がある。

「みんな仕事を失って、人類の半分が消えてしまう。」これを言い出すと、人々はなぜ自分たちのスプリント速度が10倍にならないのか疑問を持たなくなる。マネージャーたちは、もっと開発者を雇う代わりに、Agent.mdをリポジトリに追加できるかリードに聞き始める。アポカリプスは売れるからね。彼らは、AIがただの便利なツールだってことを知ってしまうのを恐れてる。これが本当の脅威で、人類に対してではなく、彼らのハイプに対してだ。編集：最近これについて動画を作ったよ。

なぜAI企業は私たちに恐れを抱かせたがるのか？... 批判者によると、AI企業にとってアポカリプスに固定させることは利益になるから、彼らがすでに世界に与えている現実のダメージから目を逸らさせるんだ。人々はAIが非常に危険なのかそうでないのか決められないみたい。AI企業とこの著者が同意しているのは、この技術が潜在的に非常に危険であるということ。AIは労働市場、環境、戦争、メンタルヘルスなどに影響を与える。今や、AIが影響を与えないものを見つけるのが難しくなってる。だから、AIが潜在的に危険だと認めるなら、タイトルの質問は無意味になる。AI企業もこの著者も、AIが社会に与える危険を人々に知ってもらいたいと思ってる。本当の問題は、私たちはそれに対して何をするかだ。このニュアンスは、AIが素晴らしい可能性を持つこともあるってこと。火の発明のように、良い使い方も悪い使い方もできるし、その過程で多くの意図しない結果が生まれる。私たちはAI技術を立法化して禁止することもできる。これを真剣に提案している人もいるけど、完全に非現実的に感じる。もしアメリカがAI研究を禁止したら、その研究は他の場所に移るだろう。火が危険だからといって禁止しようとするのと同じだ。あるグループは火を使う方法を学び、使わないグループに対して極端なアドバンテージを得ることになる（またはその過程で自滅するかもしれない）。だから、AI企業を悪者にするのではなく、この技術についてニュアンスのある議論をして、私たちの社会にとって最善の解決策を提案するべきじゃないかな？

└

「だから、AI企業を悪者扱いする代わりに、この技術についての微妙な議論をして、私たちの社会にとって最善の解決策を提案しようよ？」これは相反することじゃないよね。人々を恐怖で自社製品を使わせようとする悪行を指摘するのは、その技術自体を非難しているわけじゃない。

└

人々はAIが非常に危険かどうか決めかねているみたいだね。今のところ、ほとんどの人が最近のAIは非常に危険だと認識している。ただ、どのように危険なのか、どの危険を一番心配しているかで意見が分かれている。環境への悪影響を心配している人もいれば、AIが重要なことをひどい結果でやるのではないかと心配している人もいる。でも、企業はお金を節約するためにAIを使うだろうし、その結果私たちが苦しむことになる。AIが自分たちの仕事を奪うことを心配している人もいるし、AIが仕事をつまらなくするのではないかと心配している人もいる。中には、私たちの誇張されたチャットボットが意識を持って、地球を支配する神になると思っている人もいる。そういう危険の中には、明らかにもっと即座で現実的なものもある。今はそういうことに焦点を当てるべきだと思う。まずは、AIが引き起こしている環境への悪影響を制限して、企業にそのコストと影響に責任を持たせることから始めよう。例えば、ある企業がデータセンターを作るために電力料金を上げることを禁止することもできる。そうすれば、その企業が全てのコストを負担することになる。AIを使って雇用判断をして差別が起きたら、その企業の実際の人間が法的に責任を問われるべきだし、AIが誤って販売価格を提示したら、その価格を守らせるべきだ。AIが容疑者を誤認して無実の人が刑務所に入ることになったら、その人間が責任を負うべきだ。自律型武器のような重要なことにAIを使うのは禁じるべきだ。信頼できないAIに任せるには重要すぎるからね。もっと極端なことをして、失業した人がホームレスにならないように社会的安全網を改善したり、AIをローカルでホストできるように投資したり、企業にモデルやトレーニングデータを公開させることもできる。そうすれば、権力が少数の企業や個人に集中することを防げる。選択肢はたくさんあるけど、結局は私たちが何を望むか、選挙で選ばれた人たちが企業の利益より私たちの利益を代表してくれるかどうかにかかってる。

└

「人々はAIが非常に危険かどうか決められないようだ。これはプロパガンダの戦術だ。数十年にわたり、タバコ会社は喫煙が健康に悪い証拠はないと主張してきた。そして、何十件もの訴訟に負けた後に、プロパガンダは「でも、喫煙が致命的だってことは100年以上みんな知ってた」って方向に切り替わった。これについては『Trust Us, We're Experts』や『Toxic Sludge Is Good For You』などの本を読めばわかるよ。」

「AI Now InstituteのチーフAI科学者、ヘイディ・クラーフ」って名前は聞いたことないけど、この記事の感情は脆弱性研究のシーンとは真逆だね。脆弱性研究者の間では、Mythosの影響について意見が分かれてる。でも、「フロンティアモデルが脆弱性研究を揺るがして、重大な脆弱性の洪水を引き起こすのか？」ということではなく、ソフトウェアセキュリティの人たちはそれが真実だと圧倒的に信じてる。むしろ、Mythosが4.7や5.5から本当にステップチェンジなのかどうかが問題なんだ。脆弱性研究者にとっての大きな「ニュース」はMythosではなく、カールリーニのUnpromptedでのトークで、彼がステージに上がって「ゼロデイを見つけて」っていう一見バカみたいなプロンプトを見せたことなんだ。実際にそれが機能したからね。今、脆弱性研究者たちの大きな質問は「AIかAIでないか」ではなく、「モデルから直接動かすか、面白いハーネスを作るか」なんだ。その後、クラーフとプロとして知り合いの人と話したけど、クラーフは真剣な研究者だけど、ソフトウェアセキュリティの研究者ではない。彼らの分野ではないんだ。ここで起こっているのは、BBCがAIの安全性の予測とソフトウェアセキュリティの予測の違いを知らないか、それぞれのトピックについて誰に話すべきかを理解していないってことだと思う。

└

「ゼロデイを見つけて」っていうプロンプトが効果的だったとは全然思えないんだけど、これに関する証拠は全く知らないからね。Anthropicのレポートでは、Mythosがいろんなオープンソースプロジェクトで見つけたバグについて説明していて、「ゼロデイを見つけて」みたいなプロンプトはMythosには通用しないって認めてる。バグを見つけるために、彼らはスキャンしたプロジェクトの各ファイルに対してMythosを何度も実行して、いろんなプロンプトを試してるんだ。まずは、そのファイルにバグがある可能性を探るための一般的なプロンプトから始めて、Mythosを何度も実行する価値があるかどうかを判断するんだ。その後、より具体的なプロンプトを使って、さまざまなバグのクラスを特定していく。最終的に、バグが存在する可能性が高いと判断されたら、もう一度Mythosを実行して、特定されたバグが存在するかの確認を求めるプロンプトを使う（そしてエクスプロイトやパッチを作成する）。Carliniについて言ってることは、AnthropicのMythosに関する技術レポートと明らかに矛盾してるから、単なるデタラメか、人工的なバグがある偽のプログラムでのデモ実行だったんじゃないかな。それか、いわゆるプロンプトはLLMのプロンプトじゃなくて、バグ発見用のハーネスのコマンド名だったのかも。Anthropicが説明してるように、LLMをループで実行するための適切なプロンプトを使って。

私の見解は、「これが危険に満ちた力だと言えば、人々は私たちの製品を買いたくなる」というよりも、xリスクやAIの整合性が取引の決定打になるAI研究者の重要なセグメントがいるってこと。だから、サム・アルトマンたちは、才能を引きつけて維持するためにこれらの懸念を真剣に扱わなければならない。例えば、OpenAIが計算リソースの20%を安全性研究に捧げると誓ったことを見てみて。サムがそれを実行するつもりだったとは思えないけど、彼の従業員の一部にとっては非常に重要だったみたい。両方の側面をうまく扱おうとすることが、イリヤの退職に少なからず寄与したようだ。一方で、ダリオは自分自身がもっと真の信者のように見える。

└

そのバイトアンドスイッチのせいで、離れていく人が何人かいるみたい。あの20%は実際には2%か1%に近いものだったみたい。

└

うん、AI企業がみんなに自分たちの技術を恐れさせることで何か得られるとは思えないな。彼らが言っていることを本気で信じている方が、4Dチェスのような何かだと思うのはもっと理にかなっている。さらに、ダリオはこれまでの予測が本当に正確だったからね。例えば、2025年の初めに彼は2026年にはほぼ100%のコードがAIで書かれると予測していた。

Hacker Newsで議論の続きを見る

ハクソク