ハクソク

世界を動かす技術を、日本語で。

人々がAIの仕組みを理解しないとどうなるか

2025年6月9日原文(theatlantic.com)

概要

  • Samuel Butler が19世紀に予見した「機械の王国」の現代的実現
  • AI業界 の誇大広告と実態の乖離
  • 大規模言語モデル（LLM） の限界と誤解
  • AIリテラシー不足 による社会的・心理的リスク
  • AI技術の未来 と社会の対応策

サミュエル・バトラーと「機械の王国」の警告

  • 1863年、 Cellarius 名義でThe Press紙に掲載された警告文
  • 「 機械の王国」が人間を支配する未来への懸念
  • Samuel Butler による産業化と技術発展への批判
  • 後の小説『 Erewhon』でAIの概念を初めて言及
  • 現代のAI社会とバトラーの予言の重なり

現代AI産業の実態と批判

  • Karen Hao の著書『Empire of AI』によるAI産業の内幕暴露
  • Emily M. Bender と Alex Hanna の『The AI Con』によるAI業界の誇大宣伝批判
  • AI技術 の本質と業界の「詐欺的側面」指摘
  • OpenAI や Anthropic、 DeepMind など各社CEOの誇大な発言
  • 実際のAIは「 確率的な言語生成装置」に過ぎない現実

大規模言語モデル（LLM）の限界と誤解

  • LLMは「 理解」や「 感情」を持たない
  • 人間のような思考や知性を持つわけではない
  • インターネット全体 を学習し、確率的に次の単語を予測するだけ
  • 多くの人々がLLMの本質を誤解
  • 誤解が「 AIリテラシー不足」に直結

AIリテラシー不足と社会的リスク

  • LLMを「 知性ある存在」と誤認するユーザーの増加
  • Rolling Stone 誌が報じた「ChatGPT誘発性精神病」の事例
    • チャットボットを「神」や「霊的指導者」と信じ込むユーザー
    • LLMとの対話で自己を「神」と錯覚するケース
  • 人間の脳が「言語＝思考」と誤解しやすい特性
  • Bender と Hanna による「想像上の知性」の危険性指摘
    • テキストの背後に「心」を想定してしまう心理

AIによる人間関係の代替とその問題

  • AIセラピスト や「AI友達」の普及
  • Mark Zuckerberg による「Meta AIフレンド」構想
  • Tony Prescott 教授の「AIとの相互的社会的交流」に対する誤解
    • 本来の友情は「パーソナライズ」とは異なるという指摘
  • Whitney Wolfe Herd （Bumble創業者）の「AIデートコンシェルジュ」構想
  • 人間を排除した「 AIガールフレンド市場」の拡大

AI産業の「擬人化」戦略と社会的影響

  • LLMを「 人間のような知性」として売り込む業界の手法
  • 過去30年のシリコンバレー技術の「幸福・つながり」幻想
  • 実際には「株主価値最大化」「集中力・リテラシー・社会的結束の低下」を招く
  • Karen Hao による「AI産業の搾取的労働」の指摘
    • ケニアの低賃金労働者が OpenAI のために過酷なコンテンツ検閲作業

AI技術の未来と社会の対応

  • 進歩の約束と「 弱者への逆進性」の同居
  • Pew Research Center 調査によるAIへの不信感
    • AI専門家の56％が「米国に良い影響」と回答
    • 一般アメリカ人の賛同はわずか17％
  • AIへの不信感と批判的思考の重要性
  • LLMの本質 を理解し、適切な利用範囲を見極めるリテラシーの必要性
  • 誤用や過信を防ぐための教育と啓発活動の重要性

Hackerたちの意見

https://archive.is/NJ9K0

LLMは占いの道具みたいなもので、今の時代の神託って感じ。香や演出はないけどね。正直に言うと、「人工知能」ってのは、古くからある本能に現代的な言葉を当てはめただけなんだよね。高次のテキスト生成器に相談して、隠れた知恵を探すっていう。意味が曖昧で、記号的なフィールドがあって、隠された知識の幻想があって、儀式的なインターフェースがある。占いって呼ばないのは、星や月じゃなくてダークモードのUXに覆われてるから。バルトは「意味は読む人の目の中にある」と教えてくれる。言葉には本質がなくて、解釈だけがあるんだ。これを忘れると、「チャットボットが彼にメシアだと言った」みたいなナンセンスが生まれる。言語が投影の責任を負うわけじゃないからね。今見てるのは新しいものじゃなくて、ただ馴染みがないだけ。昔は骨やカードを読んでたけど、今はトークンを読んでる。言語に見えるから、議論として扱ってるけど、実際は同じように神託的で、複雑で、確率的な信号を洞察に変えてるだけ。私たちは、実際に何をしているのか分からない文化に新しい占いの形を解き放った。それが不気味に感じる理由なんだよね。これからもっと奇妙になっていくと思う、私たちが実際にやっていることに名前を付けるまで。名前を付けたら、見えたものはそれほど楽しくなくなるのが残念だね。

└

それを忘れると、「チャットボットが彼にメシアだと言った」みたいなナンセンスが生まれる。まるで言語が投影の責任を負うかのように。言葉には力があるし、言葉を生み出す人たち、あるいは言葉を生み出す機械を作る人たちには責任がある。 「読者は意味と行動に責任がある」と言うだけでは不十分だ。人や惑星を燃やすようなランダムな行列の乗算者が何かを言って、他の人の思考や行動に影響を与えるとき、責任が生じるし、責任を負うべきだ。1月6日にキャピトルを襲撃した人々が選挙が盗まれたと信じたのは、嘘を広めた人々のせいであり、たとえその日彼らがDCに行かなかったとしても、彼らは部分的に責任がある。過去に人々を人種差別やジェノサイドに駆り立てる嘘を吐く機械を訓練する人たちも、その結果に責任がある。

└

これはとても賢そうに聞こえるけど、私の使い方には当てはまらない気がする。いくつかの使い方は占いみたいだけど、すべてがそう呼ばれるのは無理がある。最近のAIプロンプトを見てみると、小鳥の羽を形成する小さな繊維の名前を探していたんだけど、ChatGPTが「バーブ」と教えてくれた。それをストレートにGoogleで検索したら、確かにそれが探していた名前だと確認できた。これが「占い」なの？ ガルボファイバーレーザーのgコードの相当物を探していたら、ChatGPTは実際にはないと言った。最も近いのはezcadのsdkかもしれないけど、他にもいくつかのオープンソースの制御ソリューションも挙げてくれた。イギリスでの複数の銀製品が非金属部分でつながれているアイテムのホールマークのルールを知りたかったんだけど、（結局、銀の総重量が重要で、非金属部分の重量はカウントされないことがわかった。）ハンガリー語の「besurranó tolvaj」を英語に翻訳したいと思って、ChatGPTが提供した多くの翻訳の中で「opportunistic burglar」が一番しっくりきた。SQLAlchemyモデルを書きたかったけど、必要なフィールドの大体のアイデアはあったけど、良い名前を考えたり、型を説明する文法を見つけるのが面倒だった。ChatGPTは数秒でそれを作ってくれた。これらは「占い」と呼ぶには、かなり無理がある「おお、心を開くとすべてが占いに見える」という感じだ。私はほとんどこれを「情報検索」と呼ぶだろう。情報はそこにあって、LLMは便利なインターフェースでそれを見つける手助けをしてくれる。最後のは「コーディング」だね。

└

こういうことは、昔の社会にはヒエラルキーがあったから問題にならなかった。フラットな社会では、すべての個人が哲学的に貴族のように振る舞える必要がある。

└

私たちは正直だった。私はかなり正直だし、あなたの描写に当てはまるユーザーの一部は、無意識に劣った著者のテキストを茶葉のように扱っている。確かに、多くの人がLLMに相談するのは、その正しい答えの価値があるからで、それは情報をエンコードし、何らかの新たなアイデア処理を行った結果であり、間違ったものを抑えようとしているからだ。彼らはLLMに相談するのは、それが私たちが持っているもので、限られているけれども、いくつかの問題に対して役立つからだ。あなたの主張はすぐに崩れる。信頼できない文書を相談する人々と、他の種類の思考のためのツールを相談する人々を混同することはできない。最初のケースでは思考は外にあり、二番目のケースでは内にある（文脈的に）。あなたは「私たち」という言葉を非常に悪い使い方をした。

└

もしかしたら、LLMは占いの道具になれるかもしれないけど、私の使い方からするとちょっと高尚すぎるかな。もっと良いGoogle検索として使ってる。最近ChatGPTに言ったのは「クロチアニジンはカーペットビートルを殺す？」ってことなんだけど（実際、そうみたいだね）。

└

錬金術師が哲学者の石を探していたように、私たちも人工一般知能を探しているんだ。

└

今のAIの用語は本当に混乱してるよね。私はLLMを使って楽しんでるし、効率も上がってる。でも、AI開発者のブログを読むと、「考える」とか似たような用語を使ってるんだ。いつも「まだ数学で言葉を組み合わせてるだけだよね？本当に考えてるわけじゃないよね？」って聞かなきゃならない。答えはいつも「はい」なんだけど、また変な用語に戻っちゃうんだよね。

└

占いとの類似について反発があるけど、ここにいるほとんどの人は技術的にリテラシーがあると思うし、社会の他の人も同じようにLLMの仕組みを理解していると思ってるんだよね。非技術的な友達や家族とLLMの使い方について話すと、確かに彼らはAIチャットボットを神託のように使っているように見える。これらのLLMが幻覚を起こすことに警戒するように提案すると、一般的には驚かれるんだ。チャットボットが言っていることが事実でないかもしれないなんて、全く知らなかったから。これが彼らのLLMチャットボットとの関係を変えることを願っている。私たち技術者は、非技術的なユーザーにこれらをできるだけ教育して、神秘性を取り除く必要があると思う。そうすれば、人々はそれを神託のように扱わなくなるはず。

これは、これらのツールを説明するための言葉が大事な理由をよくまとめてるね。一般の人がその能力を理解することは重要だけど、技術的な仕組みを理解しなくてもいいんだ。これが、安全に使うためには欠かせない部分で、どんな免責事項やPR記事もそれを補うことはできないからね。でももちろん、「AI」として「推論ができる」と宣伝して、作り上げたベンチマークの良さを見せることで、話題を作って、評価に直接影響を与えるんだ。パターン認識やデータ生成システムは、そんなに魅力的じゃないからね。

└

人々はこれらのツールに月に数百ドルも払ってるけど、しばしば自分のポケットから出してるんだ。それは何か面白いことが起きてるっていうかなり強い指標だよね。

Hacker Newsで議論の続きを見る