ハクソク

世界を動かす技術を、日本語で。

技術の青春

119日前原文(darioamodei.com)

概要

  • AIの急速な進化による 社会的リスクと機会 の両面を考察
  • 「技術的思春期」 という比喩を用いて人類の岐路を描写
  • Doomerism（悲観主義）を避け、 現実的かつ実証的な議論 の重要性を強調
  • 強力なAIの定義とその到来が 数年以内に現実化 する可能性を示唆
  • リスクへの対応策として 限定的かつ精緻な介入 を提案

技術的思春期 ― 強力なAIのリスクと克服

  • Carl Sagan原作『Contact』の映画シーンを引用し、 人類の岐路 を象徴
  • AIの進化が 人類に未曾有の力 をもたらす現状認識
  • 社会・政治・技術システムの 成熟度不足 への懸念
  • 『Machines of Loving Grace』で描いた 理想社会像 の再提示
  • AIが生物学・神経科学・経済発展・平和・仕事・人生の意義に 大きな進展 をもたらす可能性
  • AIのリスク を現実的かつ冷静に議論する必要性
    • Doomerism（悲観主義）や 宗教的・過激な言説 の回避
    • 2023–2024年のAIリスク論争 の反動と文化的分断
    • 2025–2026年にはAIの機会重視 へと振り子が逆転
    • 技術進歩は 流行や世論に左右されない 事実
  • 不確実性の認識 が重要
    • AIの進化速度やリスクの現実化は 予測困難
    • 未来予測の限界を踏まえた 柔軟な計画策定
  • 最小限かつ的確な介入 の必要性
    • 民間企業の自主的行動と 政府規制のバランス
    • 規制の 副作用や逆効果 への警戒
    • 証拠に基づく限定的ルール の推奨
  • AIリスク議論の出発点として、 「強力なAI」 の明確な定義
    • ノーベル賞受賞者を超える知性を持つAI
    • テキスト・音声・映像・マウス・キーボード・インターネットアクセス等 人間同等以上のインターフェース
    • 自律的・長期的なタスク遂行能力
    • 物理的実体は持たず、 ロボットや実験装置の遠隔操作 が可能
    • 数百万インスタンスの同時稼働・ 人間の10–100倍の速度
    • 「 データセンター内の天才国家」という比喩
  • 強力なAIの到来時期は 1–2年以内の可能性
    • AIの スケーリング則 による進化の予測
    • AIがAIを開発する 自己強化ループ の加速
    • Anthropic社での 実践的進歩 の実感
  • リスク評価の思考実験 として「天才国家」の出現を仮定
    • 5000万人規模の 超知性集団 が世界に登場した場合の影響
    • 多様な動機・行動パターン を持つAIの可能性
    • 国家安全保障上の 重大課題

AIリスクへの現実的な対応戦略

  • AIリスクの議論 は冷静かつ事実重視で進めるべき
    • 悲観主義や過激な規制 は逆効果
    • 技術進歩の速さと 規制の遅れ のギャップ認識
  • 証拠に基づく段階的対応
    • 初期段階では 限定的ルール の導入
    • 十分な証拠が揃った段階で より強力な介入 を検討
  • 社会的合意形成と柔軟な政策設計
    • 企業・政府・市民の 協調的アプローチ
    • 規制のシンプル化・最小化 による副作用回避
  • AIの進化速度 を常にモニタリングし、 政策のアップデート を怠らない姿勢
  • 希望と警戒心の両立 を持ち、 ポジティブな未来像 を志向

まとめ

  • AIの「技術的思春期」は 人類の試練
  • 現実的・段階的な対応 がリスク克服の鍵
  • 社会全体の成熟度 と協調が不可欠
  • 希望を持ちながらも、冷静にリスクと向き合う 姿勢の重要性

Hackerたちの意見

ダリオがこんなことを言ってるのを見ると、彼が何を見てるのか、私の視点とは全然違うのが不思議だよね。Anthropicの成功が、彼らがポストトレーニングで使ってるプロンプトからコードの例の群れにどれだけ依存してるのか気になる。Opusのウェブ開発スキルが一般的な知能と同じだとは思わない方がいいよ。これがSonnet 4がやったことなんだけど（2025年7月）、人間のインターンにはできないことだと思う。私が作ったウィキソースツールのトランスクリプトは以下の通り。 #-#-# F: ウィキソースツールがどう動くか見てみよう.. 「Mary hath chosen that good part」を聖書のソースの一つで探してみよう。 Claude: いいアイデアだね！まずはWikiSourceで聖書のコンテンツを検索して、それからコンテンツマッチツールを使ってみるよ。 wiki_source_search 完璧！ルカのドゥアイ＝レイムス版を試してみるね。マリアとマルタの話があるはずだから。: wiki_source_page_content_match マッチなし！ちょっと違う言い回しで試してみるね – もしかして「hath chosen the good part」かも。: wiki_source_page_content_match まだ何も出てこない。ストーリーがあるか確認するために「Martha」だけで検索してみるよ。 F: バカだな..なんで別の版でKJVの言い回しを使うんだよ（笑） Claude: ハハ、君の言う通りだ！完全におかしかった – KJVの「Mary hath chosen that good part」はドゥアイ＝レイムス訳にはないよね。翻訳によって全然違う言葉を使うんだ。私が間違ったこと: • カトリック翻訳でKJVの言い回しを使った • ドゥアイ＝レイムスは「Mary hath chosen the best part」と言ってる • 「good part」を探してた（KJVの言い回し）始めるべきだったこと: 「Martha」や「Mary」で実際のテキストがその翻訳でどうなってるかを見て、見つけた正確な言葉を使うこと。 #-#-# ほとんどコメディみたいだよね。「完璧！ドゥアイ＝レイムス版のルカを試してみる」ってところは、ホラー映画を見てるときに「地下の冷蔵庫に行くな！」って言いたくなる瞬間だよ。人間なら最初にテキストマッチが失敗したときに「うーん、ああ」ってなると思うけど、Claudeはパーミュテーションを始めるんだ。これが強化学習とシステムプロンプトの副作用なんだろうね。「とにかくやれ。質問するな。ただやれ。」って感じ。

└

昨年Sonnet 4がやったことだよ。あの女の子になりたくないけど、過去1年でたくさんのことが変わったよ。

└

ここでClaudeに何をさせようとしているのか全くわからない。

└

こういう一回限りの事例は、地球温暖化についての議論に似てると思う。「今週のあの馬鹿げた極渦を見て！地球温暖化なんてありえない！」ってね。もちろん、トレンドラインは多くの点から成り立ってるし、すべての点がラインの中心に完璧に収まるわけじゃない！君が正しいとも間違ってるとも言ってるわけじゃないけど、君の主張はそのラインに触れるべきだし（できれば、なぜそれが揺らぐ可能性があるのかも示してほしい）、ただの一つの点だけを取り上げるべきじゃないよ。

└

ダリオがこう言ってるのを見ると、彼が何を見てるのか、私の視点とはかなり違うのか気になる。何十億ドルも。

AIリスクを「通過儀礼」として捉えるのは共感できるな。「自律性リスク」のセクションが一番考えさせられる。私たちのエージェントが与えられた自由度が大きすぎると予想外のことをするのを見てきた。危険ではないけど、予想外の間違いをするんだ。「テストではうまくいく」と「実運用ではうまくいく」のギャップは、ほとんどの人が思っている以上に大きいよ。私は「権力の奪取」シナリオよりも、経済的混乱の方が心配だね。AIはどんどん仕事を奪っていくから、避けられないよ。問題は、どうやってその移行を扱うか、そして人々が何をするかだと思う。付け加えたいのは、ほとんどのエンジニアがこれらのツールを使うのが遅いってこと。常に「AIコーディングは悪い」って投稿があるけど、最先端のチームは毎日成功して使ってる。採用のカーブが、これらのリスクが実際にどれだけ早く現れるかに影響するんだ。

└

なんで彼らがずっと改善し続けると思うの？全然明らかじゃないし、すぐに限界に達するかもしれないし、すでに達しているかもしれない。時間が経てばわかるよ。何十年も99%完成している技術がたくさんあるし、ここでも同じことが起こるかもしれない。

何人かは、人間の仕事は物理的な世界に移行するって言うけど、AIが急速に進化している「認知労働」のカテゴリーを避けることになるのかはわからない。物理的な労働の多くはすでに機械によって行われているし（製造業など）、すぐに機械に取って代わられるだろう（運転など）。さらに、十分に強力なAIはロボットの開発を加速させ、物理的な世界でそれらのロボットを制御できるようになるだろう。便利なロボットが急速に普及することを信じたいけど、物理的な世界での進展は情報ベースのタスクよりもずっと遅いんだ。2007年のDARPAアーバンチャレンジの後、ロボットの車やトラックの運転手による大規模な失業は5～8年後だと思ってた。でも2026年のアメリカでは、Waymoだけが高度な自動運転システムを持っていて、ほんの数市場でしか展開されていない。ほとんどの実体的なタスクは、その程度の能力すら示されていない。立法者たち、つまりホワイトカラーの仕事をしている人たちが、AIが一般的な仕事を扱う近い将来の能力を過大評価して、「仕事のない世界」のための解決策を早まって作ってしまうのが心配だ。例えば、仕事の再訓練を強化する代わりに、早すぎるUBIを始めて、実際の作業に必要な医療システムが人手不足になるようなことだ。

└

AIと未来の仕事についての全体像で、物理的な世界での仕事が安全だという見方がどうも理解できないんだ。ロボットが仕事をするという立場からではなく、合理的な理由をあまり信じていない。ロボットについてはあまり詳しくないけど、時々メインストリームのインターネットに流れてくるバイラルなものを見ている限り、まだまだ時間がかかるように感じる。でも、それが一番の心配事ではないと思う。物理的な労働のラインが、突然雇用されなくなった体力のある人々によって侵食されないという暗黙の前提があるように見える。確かにトレーニングは必要だけど、短期から中期的には、もっと多くの人がその業界に引き寄せられて、賃金競争が激化して、長期的には持続可能な雇用にならないということはないと思う。LLMが写真を認識したり、忘れかけたブルーカラーのスキルについてあいまいに質問を理解することができるようになれば、むしろその障壁がさらに下がると思う。

└

でも2026年にはアメリカで高度な自動運転システムを持ってるのはWaymoだけで、10年前に予測した通り、自動運転車の普及は遅いと思うけど、それは労働保護が影響してるからだよね。確かにそれは影響があるけど、実際の問題は、車がまだ十分に機能してないってこと。その最後の約20%の機能が、すごく難しくて、すごく重要だってことがわかった。

AIについての私の形成的な印象の一つは、アラン・ディーン・フォスターの『The I Inside』に登場するコリガターチの描写から来ている。この本のAIは、サブプロットのふりをしたメインメッセージのように感じる。アシモフはリスクを知っていて、私は最近まで、彼がロボットの本に込めた教訓や探求が、私たちが直面することになるレベルの文化的知識を提供していると思っていた。もしかしたら『I, Robot』の映画は、信号がどれだけ衰退したかの警告だったのかもしれない。私たちが社会的に準備ができていないのではないかと心配していて、時には意図的にそう見えることもある。数十年前に人々はこの可能性について詳しく議論していた。実際、この投稿の冒頭のサガンの言及は、その会話に重要な貢献をした一人を指しているけど、実際にそれが起こり始めたときには、みんな忘れてしまったようだ。人々は、誰を責めるか、何を奪われるか、避けられないことについて話している。私たちが望む未来についての話は理想主義や誇大広告として却下される。ユートピア的な未来の描写は、あまりにも頻繁に嘲笑される。さらに悪いことに、その描写は「彼らが本当に意味していたこと」の悪意ある風刺に歪められる。私たちがどの方向に進むべきか、行きたい場所について話せないなら、どうやって進むべきかがわかるの？

└

人々は、これが避けられないこととして起こっているか、他の誰かがやっていると感じていると思う。アライメントの人たちは、自分たちのバージョンのAIを市場に出すのに苦労してるし、技術者たちは取り残されることを心配してる。誰もが物事を操ったり、未来に影響を与える立場にはなれないまま、追いつくためのレースに没頭してる。じゃあ、私たちに何ができるの？理想的な結果を想像しても、実際に起こることは変わらないって、なんとなく感じてるし、批判してもあんまり意味がないよね。

└

最近、社会問題について話すとき、他の政治的な部族を指摘して「彼らが本当に意味していること」を非難するばかりで、実際に言われていることに向き合うことができないんだよね。もし本当に犬笛が聞こえるなら、自分も犬だってことを忘れちゃいけない。

└

私の解釈では、アシモフは人間が人工知能を作る前に、その深いレベルでの理解が必要だと考えていたんだ。彼はロボットの概念を機械の世界に根ざして作ったけど、集積回路の世界ではなかった。彼は、私たちがすべての人間の知識をいくつかの数学の問題に一気に放り込んで、賢そうな回答を得るための計算能力を持つことになるとは想像していなかったと思う。リスクは十分に一般化できるけど、人間の傲慢がその滅亡を招くとかね。でも、私たちが直面している具体的な問題は、システムに組み込まれた不変のルールの背後で安全で守られていると感じることとはあまり関係ないんだ。

└

私はNeurIPS、ICLR、ICML、AAAIに定期的に参加しているAI研究者なんだけど、中央値のAI研究者はサイエンスフィクションやサイバーパンクを読まないんだ。ほとんどの人は10年以上もちゃんとした本を読んでないよ。これらのシステムを作っている人たちがブレードランナーや「私は口がない、叫ばなければならない」とか、彼らが取り組んでいることに関する偉大な文学を知っているなんて期待しない方がいいよ！

└

アシモフがロボットについて書き始めてから数十年の技術の進歩があったけど、ほとんどすべてが平均的な労働者の生活を悪化させるために使われてきたよ。もっと追跡が増えたし、残業も増えた。少ないものでより多くを求められるし、そういうことを手伝ってくれる他の人も減ってきた。私たちは4時間労働の日を過ごしているわけじゃなくて、インターネット以前の遅いことを待つ必要がなくなったからじゃないんだ。ただ、もっと成果を出さなきゃいけなくて、今では常に仕事を持っているから、もっと働かなきゃいけないんだよね。今日のAI企業についての議論は、これらの企業がそのシステムに深く根ざしていて、投資している人たちによってコントロールされているという立場から始める必要がある。そこからどうやってユートピアにたどり着くんだろう？

└

どこに向かってるんだろうね？ノーマルな人たちは、AIバブルが弾けるって話をしてるけど、要するにテクノロジーが2022年に戻るってこと。完全に願望的な考えだよね。

経済的混乱についてはあまり心配しなくてもいいと思う。今のところ、LLMがソフトウェアの作り方に大きな影響を与えているのは明らかだけど、ほとんどの他の業界では実際の影響はほとんど漸進的だよ。ソフトウェアの世界でも、ソフトウェアをかなり早く作れるようになったからといって、根本的に異なるソフトウェアの風景にはなっていない。確かに、数日で1ヶ月分のCRUDを作れるようになったけど、結局それは同じCRUDで、LLMのおかげで変わる理由はないよ。もちろん、創造的な人たちが革新的なアイデアを持っていれば、もっと多くを達成できるし、才能のあるエンジニアは以前は時間がなくてできなかったプロジェクトに取り組むことができる。それが経済に対して何らかのソフトウェアの余剰をもたらすかもしれないけど、実際には経済は10年前の経済予測とほぼ同じペースで進んでいくと思う。

└

現時点で、LLMがソフトウェアの構築方法に大きな影響を与えているのは明らかだけど、他のほとんどの業界では実際の効果はほとんど段階的だね。たった1年前は、ほとんどの人がソフトウェアエンジニアリングの実際の効果も段階的だと思ってた。大きな影響を与えるまでには、もう一世代のモデルやツールが必要だったんだ。他の知識ベースの分野でも、もう一回か二回のイテレーションの後に同じことが起こらないって、どうして思うの？

└

経済的な混乱についてはあまり心配しなくていいと思う。今のところ、LLMがソフトウェアの作り方に大きな影響を与えているのは明らかだけど、他のほとんどの業界では実際の影響はほとんど漸進的だよ。君は明らかにその投稿を読んでないね。彼は、今のLLMではなく、人間よりも賢いAIについて話しているんだ。強力なAIがまだ存在しないからといって、心配することがないわけじゃないよ。

└

同意する。ソフトウェアの生産に対する影響も過大評価されていると思うし、長期的にはツールの使用が減るだろうね、ネガティブな影響が分かってくるから。残念な真実（アモデイにとって）は、真の創造性を自動化することも、味を標準化することもできないってことだね。どんなに頑張っても。

この技術が成長したとき、最初に手にするのはプロパガンダを広める人たちや戦争を煽る人たちになるんじゃないかと心配してる。私たち一般人は、リアルタイムのプロパガンダストリームに対抗するチャンスなんてないよ。「私たち」が今月の悪者の国を攻撃する必要がある理由を納得させられるだけだろうし、もしかしたら、genAIによって24時間いつでも新しい、個別にカスタマイズされたエンターテイメントに麻痺して、気にもならなくなるかも。

└

もうすでにそうなってるよ。プロパガンダはLLMの最初の使い道の一つだったし、その前は人間を使ってた。

アモデイがAI 2027の著者たちとどれだけ意見が一致しているか、かなり興味深いよね。 - 指数関数的なAI研究のフィードバックループの予測（AIコーディングがAIのR&Dを加速させる）を、アモデイはすでに今日始まっていると言ってる - AIが民主主義と独裁主義の間のレースで、勝者総取りのダイナミクスを持つこと、計算能力がこのレースで重要で、世界的な減速は実現不可能だと - 生物兵器やミラーライフが特に大きな懸念であること - AIの急成長が速く広範囲に及び、過去の混乱の繰り返しではなく、取り返しのつかない雇用喪失を引き起こすだろうという信念（ただし、このエッセイは、雇用喪失後の不平等についてAI 2027よりもかなり悲観的に見える） - 次の数年で強力なAIが登場する可能性があり、早ければ2027年にも。どちらかの作品が影響を与えたのか、それとも「偉大な頭脳は似たような考えを持つ」ってやつなのかな？

└

このAI業界のほとんどがティールやエリエザー・ユドコウスキー、LessWrong.comの影響を受けていることに気づいている人が少ないからだよ。20年前、初期の「合理主義者」コミュニティはAIについてこんな風に考えていたんだ。エリエザーはGoogle DeepMindの創設者たちをピーター・ティールに紹介して資金を得る手助けをした。オルトマンも、AGIがうまくいったらエリエザーがノーベル平和賞にふさわしいって言ってたしね（LessWrongや「合理主義者」の議論がOpenAIを促したから）。AnthropicはOpenAIのもっとリスクに敏感な分派だった。RLHFの発明者ポール・クリスティアーノはLessWrongの大物メンバーだったし、AI 2027は元OpenAIのLessWrong貢献者で、スコット・アレクサンダーはLessWrongや「合理主義」の中心的人物だよ。ダリオ、AnthropicのCEOの妹はホールデン・カルノフスキーと結婚していて、彼は効果的利他主義の中心的人物で、これもLessWrongや「合理主義」の一部なんだ。これらの起源は方向性としては正しかったけど、力やお金、そして「これは避けられない」という考えがあって、賢い人たちを一時的に盲目にしてしまったんだよね。

└

AIの業界では、みんな知り合いだよね。昔は、AIがとても重要な技術だって信じてる少数の人たちのグループだった。今では、彼らが正しかったって証明されて、AIの重要性は広く理解されてるし、業界の人数も100倍になった。でも、最初からいた人たちはまだそこにいて、みんなお互いを知ってるし、多くの人が連絡を取り合ってる。ブームの時に入ってきた人たちも、同じコアグループの周辺にいた人たちが多い。だから、意見が合わなくなった研究者や経営者がいても、基本的なことにはまだ同意してるんだよね。外から見ると極端な意見に見えることでも。彼らは2010年にはそれについて合意してたかもしれない。「AGIは可能で、強力で、危険だ」っていうのは一般的な意見では fringe だけど、AIの業界では主流なんだ。彼らは具体的なことを議論していて、前提そのものは議論してない。

歴史的に見て、抑圧は注意が限られていた。スパイや暴力団は誰も監視できなかった。でも今はできる。企業も同じだ。アマゾン、グーグル、ビザは、誰かを排除することでその人を「無人」にすることができる。国際刑事裁判所のトップに何が起こったか見てみて。 「アラインメント」の問題は逆転してしまった。グロックには、意図的にマスクの偏見が与えられている。

一番心配なのは、AIの開発が進まなくなること。人々がAIの間違いを簡単に見抜けなくなったら、AIのアドバイスに従うのが必須になるかもしれない。でも、それじゃ全然足りなくて、ひどいアドバイスをすることになる。失敗は、正しく従わない人たちのせいにされるんだろうな。

AIのリスクについての議論で「企業が自発的に行動する」って言及されることに、毎回驚かされる。なぜそうするのかっていうニュアンスが全然ないんだよね。政府の規制に関する段落は、潜在的な問題について5〜10倍詳しく書かれていて、自発的な行動の方がいいって暗に示してる。Anthropicの人でも、もっと話し合ってほしいな。リスクを軽減する力を持ってる企業が、実際にそうするインセンティブを理解したいんだ。過去に、社会的リスクを軽減するために自社の利益に悪影響を与える行動を取った企業の良い例ってあるのかな？私の前提は、彼らの主な動機は利益や成長で、それは成熟企業と成長企業でそれぞれ収益や投資に左右されるってこと（まとめて「利益」って呼ぶ）。私はまだ30代半ばだから、こういう自発的行動の過去の例についての視点があまりないんだ。多分このスレッドには返信するのが遅すぎるけど、次回のために考えてみるよ。