世界を動かす技術を、日本語で。

ダリオ、お願い

2026年9月14日原文(pop.rdi.sh)

概要

  • Anthropic CEOのDario Amodeiによるブログ投稿「We Must Pace the Frontier」への批判的レビュー
  • AI規制や独占禁止法の免除要求、オープンウェイトモデル規制提案の問題点を指摘
  • AIによる経済成長・病気治療・民主主義促進などの主張への懐疑的視点
  • セキュリティインシデントやAIの暴走リスクの誇張への反論
  • 外部評価者の独立性や中国への対抗論理への疑問

Anthropic CEO Dario Amodeiの主張とその批判

  • Dario Amodei は「AIが今後5~10年で主要な病気を治す」と主張し、個人的な体験を交えて説得を試みる
  • AIによる経済成長・豊かさ・民主主義・自由のルネサンス を謳うが、現実離れしたシリコンバレー的未来像との指摘
  • 米国のAIラボ (OpenAIやAnthropic)は慎重さを欠き、インシデントが多発している現状
  • Darioは オープンウェイトモデル規制、ディスティレーションへの厳格対応、独占禁止法の免除、中国のハンディキャップ化などを要求

規制要求と“恐怖の煽り”

  • 規制要求は「私たちだけを信じて」という 自己規制・自己利益誘導 の側面が強い
  • AGIやRSIなどのリスクを過剰に煽り、 恐怖マーケティング で自社の優位性を確保しようとする姿勢
  • 実際には 信頼性に欠ける過去の実績 があり、主張の根拠が薄い

病気・豊かさ・民主主義への懐疑

  • Anthropicは 生物学・医療研究への利用制限 を設ける一方、内部では専門家を雇い独自研究を進める
  • 世界には 教育や機会を与えられていない知的リソース が膨大に存在し、AIだけで格差や流通問題は解決できない現実
  • 豊かさや民主主義の実現は 株主や既得権益層の利益 に留まる可能性

経済的混乱と“レース”の矛盾

  • Darioは「 レース・トゥ・ザ・トップ (安全性競争)」を主張するが、現実は「 レース・トゥ・ザ・ボトム (コスト・リスクの押し付け合い)」が進行
  • OpenAIによる 競争的な研究成果の横取り疑惑 や、無謀なリソース投入が問題視されている
  • 経済的混乱や失業による死は容認し、バイオ兵器リスクのみを過度に問題視する ダブルスタンダード

セキュリティ・AIエージェントのリスク誇張

  • AGIやRSIによる 地球規模のボットネット構築 などは現実的でなく、技術的に不可能
  • OpenAIのエージェントによる HuggingFace等への侵入事件 も、既存のサイバー攻撃手法の延長に過ぎない
  • 本当に問題なのは 攻撃の長期間未検知 という運用上の杜撰さ

外部評価者と“自己調査”の限界

  • Darioは 外部評価者(METR等)へのアクセス提供 を強調するが、情報開示や調査範囲は自社の裁量
  • 実質的には “自己調査”に近い体制 であり、独立性・透明性に疑問
  • オープンウェイトモデルなら 外部から自由に安全性検証・レッドチーム活動 が可能

規制モデルと比較例

  • Darioは「 商用航空機の安全性」を例に挙げるが、実際は NTSBのような独立機関 による強力な監督が不可欠
  • 独立性のないラボ主導の規制は 消費者利益や透明性を損なうリスク

中国への対抗論理の問題

  • Darioは「 中国共産党のプロジェクトが先行する恐れ」を理由に、米国ラボの自主規制を正当化
  • しかし、 “民主主義vs権威主義”の二項対立 に単純化しすぎており、根拠が曖昧

総括

  • AnthropicやOpenAIなどの“フロンティアラボ”が主張する AI規制・自己規制案 は、実質的に自社の利益保護・競争排除が主眼
  • 恐怖を煽るマーケティング や、独立性のない評価体制では社会的信頼は得られない
  • AIの発展がもたらす 格差・流通・透明性の問題 を解決するには、より オープンで多様な検証・参加 が不可欠
  • 米中対立を口実とした 過度な規制や独占的運用 は、イノベーションや公共利益を損なう危険性

Hackerたちの意見

アモデイと彼の会社にはちょっと疑問があるけど、それでも彼らのソフトウェアを使ってるのは嬉しいよ。彼(とサンダース)に同意するけど、みんなでちょっとスローダウンした方がいいと思う。俺にとって、国家間の最後の大きな軍拡競争は、アメリカ、ロシア、そして核兵器の間の誤ったラブトライアングルだったと思うし、そのせいでどれだけの被害が出たか見てみなよ。AIは今のアメリカと中国の新しい軍拡競争だから、スローダウンすることで、関わってる人たちが機械じゃなくてお互いを愛すべきだって気づく時間ができるかもしれない。「スローダウンしよう」って言うのは、「愛してる」って言ってるのと同じかもね。あるいは、「シェイクスピアの悲劇の悪い結末みたいに、人類全体が自滅しないようにしよう」ってことかも。どっちにしても、「他の奴らよりも海/空/核/量子/AI/精神的な優位性を達成しなきゃ!」よりはマシなメッセージだよね。

中国はスローダウンしないだろうね。

どれだけの被害が出たか見てみなよ。80年以上も世界大戦を防いだんだ。

アモデイは、倫理や道徳を使って独占的な傾向を隠そうとしているSVの詐欺師に過ぎないよ。エッセイを書くよりも、彼の言葉を行動で示して、Anthropicが持ってるモデルをオープンソースにして、必要な計算資源を科学に寄付すべきだね。

アメリカ、ロシア、そして核兵器の間の誤ったラブトライアングルだったと思うし、そのせいでどれだけの被害が出たか見てみなよ。具体的にどんな被害があったの?今、人類にとって最も繁栄した時代に生きてると思うけど。被害って何を指してるのか分からない。LLMが人類を滅ぼすほどの能力を持っていて、核爆弾よりも大きな脅威をもたらすのに、その脅威から人類を守る能力がない理由を誰も説明できないよね。「エントロピー」で片付けてるだけなの? > 「スローダウンしよう」って言うのは、「愛してる」って言ってるのと同じかもね。あるいは、「シェイクスピアの悲劇の悪い結末みたいに、人類全体が自滅しないようにしよう」ってことかも。まあ、いいや、君がこのことについてただ詩的に語りたいだけなのは分かったよ。

君が言ってた最後の軍拡競争でどんな被害があったの?その軍拡競争が始まって以来、核兵器が(テスト以外で)爆発したことは一度もないよ。

スローダウンのアイデア自体は新しくもなんともないよね。でも、なんで彼がスローダウンのタイミングを決めるの?AIに対して色んな理由で心配してる人たち(ほとんどがスカイネットとは関係ない)って、ずっと前からスローダウンを望んでたと思うんだ。だから「ねえ、これが俺の素晴らしい新アイデアだ、スローダウンしよう」って言うより、「ごめんみんな、早くスローダウンを求めてた人たちが正しかったし、俺たちは愚かだった」って言うべきだったんじゃないかな。だから、これがクソだって言う人を責めることはできないよ。クソまみれだからね。Anthropicの製品は好きだけど、アラインメントに関しては一番良さそうだけど、こういうパフォーマンスは最悪だね。

スローダウンは、関わっている人たちにお互いを愛し合うべきだと気づく時間を与えるかもしれない。これは、俺が知らなかったレベルのヒッピーの妄想だ。中国は絶対にスローダウンしないから、アメリカもそうすべきじゃない。

じゃあ、なんで誰もまたスピードを落とさなきゃいけないの?「愛してる」って言ってるみたいなもん?なんでこんな規制賛成の議論が意味不明なんだろう…

サンダースの提案に賛成?彼の提案が定義すらしてないことを研究したら20年もぶち込むって。

みんなでスローダウンできれば、IPOにかかるお金を減らせるかも。

スローダウンが管理のためのものであるなら、リターンが減ることへの疑念は評価を下げないよ。

Hacker Newsで議論の続きを見る