世界を動かす技術を、日本語で。

すべての未来は嘘だと思う – 第5部: 迷惑

概要

  • 機械学習(ML)やLLM(大規模言語モデル) の導入が顧客対応や意思決定に深刻な影響を与える予測
  • カスタマーサービスの自動化 による利用者の不満や責任の拡散
  • ML活用による価格設定や審査業務 の複雑化・非透明化
  • 責任の所在が曖昧 になり、個人が不利益を被るリスクの増大
  • 広告や商取引の新たな混乱 と、企業・個人間の力関係の変化

機械学習時代のカスタマーサービスと責任拡散

  • LLMやML技術 の進化により、企業が顧客対応を自動化する流れ
    • チャットボットや音声モデルによる問い合わせ対応
    • 人間担当者へのアクセスが困難化
  • カスタマーサービス のコスト削減志向
    • オフショア化やスクリプト対応、権限の制限
    • 利用者が諦めることを狙ったシステム設計
  • LLM導入による問題点
    • 機械とのやり取りが増加し、応答の正確性や誠実性の低下
    • LLMは誤情報や虚偽の回答をするリスク
    • システムの予測不能性・攻撃への脆弱性
  • 経済階層による対応格差
    • 高額顧客には人間対応、一般顧客には機械対応
  • 日常生活の中のML活用例
    • 価格設定、保険審査、医療判断、交通違反検出など
    • 利用者側の“機械との交渉”が新たな苦労に
  • MLのコスト優先導入
    • 精度よりもコスト効率が重視される傾向
    • 例:Hertzのレンタカー価格設定モデル
  • ML対抗の個人利用
    • LLMを使った異議申し立て、価格交渉、ボイコットの自動化
    • 企業と個人のリスク・スケールの非対称性

機械学習による責任の拡散と社会的影響

  • MLシステムによる誤認・被害の事例
    • 顔認識誤認による不当逮捕
    • AI監視カメラによる誤通報
  • 責任の所在の曖昧さ
    • モデルを作る人、販売する企業、運用する組織の分断
    • 重大な決定の責任が個人から組織全体に拡散
  • MLが社会的バイアスを強化
    • 統計的客観性の名のもとに偏見を正当化
    • モデルの判定根拠が説明不能
  • 意思決定プロセスのブラックボックス化
    • モデルの説明責任や修正の困難
    • 例:医療保険の審査プロセス
  • 現代の工学・官僚制との類似性
    • 複雑なシステムで責任が分散
    • 重大事故時の原因究明の困難さ
  • 個人責任の希薄化
    • 企業・組織レベルでの対応が主流に
    • 本質的な過ちの理解と修正が困難

エージェンティック・コマースと市場の変化

  • Agentic commerce(エージェンティック・コマース) の台頭
    • LLMが自動で購買・比較・交渉を行う新しい商取引
    • サブスクリプションや価格競争の激化
  • 広告やマーケティングの新局面
    • LLM向けの広告やSEO施策の誕生
    • LLMの判断を操作するための膨大な情報戦
  • プラットフォーム企業の新たな収益機会
    • LLMを介した商取引の仲介・手数料ビジネス
  • 企業と消費者の力関係の変化
    • アルゴリズム同士の“交渉”が主流に
    • 人間の意思決定がさらに遠のくリスク

この一連の記事では、 機械学習とLLMの普及 がもたらす顧客対応の変質、責任の拡散、消費者と企業の関係性の変化について、現実的な視点から警鐘を鳴らしている。

Hackerたちの意見

https://archive.is/c2sBh

直接Aphyrのサイトを訪れない理由ってあるの?

つまり、以前よりも人を物を買わせたり、行動させたり、考えさせたりする方法が増えたってこと?なんか、私たちの世界はますます操作や真実、対話の欠如に囲まれている気がする。でも、LLM(大規模言語モデル)は素晴らしい技術的成果だと思う。問題は、彼らが何をするかとか存在するかじゃなくて、どう使われるかなんだよね。今は、富裕層と貧困層の格差をさらに広げるために使われている。将来、誰を信じればいいの?大企業も、国家も、LLMも信じられない。信頼できるグループや集団を中心に組織する時期だと思う。

自分で浮力を生み出す自己膨張型の乳首型風船があれば、すごい成果だけど、単なる新しいもの以上の役に立つとは限らないよね。チャットボットは結局、強化された予測テキストに過ぎないし、ビジネスや経済全体をそれに基づいて運営するのは完全にバカだと思う。

「問題は、彼らが何をするかとか存在するかじゃなくて、どう使われるかなんだ」 これがまさに今の状況を生んだ理由だよ。技術は受動的じゃない。インセンティブや手続き、アイデアを変えて、世界を形作るんだ。もし、何をどう使うかを構造的に制限しないなら、私たちはコントロールを失っていることになる。個人的な選択肢がどうであれ。

現在、彼らは富裕層と貧困層の間の階級の分断を進めるために利用されている。皮肉なことに、これがLLMが最初に導入された主な理由で、貧しい人々のためではなく、富裕層と貧困層の格差を広げるためだった。

地元のモデルと強力な消費者向けハードウェア、そしてSTEMを嫌わない情報通の人々がいるけど、それは株主価値には良くないから、結局はどこでも高くて混乱した状況になっちゃうんだよね。STEMの恩恵に依存しながらその考え方を疑うと、また一人のSVに完全に同調したサイコパス扱いされるから、何を言っても無駄だよね。進化して、あとはどうにでもなれって感じ。だって、強くて自信満々に間違ったリーダーシップを求めるバカな社会で他に選択肢が見当たらないから。

「私たちの世界はますます操作に回っている気がする」それを言うのは残念だけど、昔からそうだったし、情報を配布するのがもっと高かった時代はもっと簡単だったんだよね。

「信頼できるグループや集団を中心に組織する時期だ」同じことを考えてたけど、もっと深く見てみると、結局は私たちが以前に持っていたものに戻るんだよね:(オープンで透明な)公共機関、社会、そして人々による政府。基盤自体が問題だったわけじゃなくて、環境が問題だったんだ。その過程で、ソーシャルメディアの雑音やエンゲージメント最適化、カーダシアン風の「エンタメニュース」が本当のニュースを汚染して、どんなにスキャンダラスでも注目がドルに変わる注意経済が生まれた。それが私たちの情報圏を汚染して、不信感を生んだんだ。今では、誰もこれらの公共機関を信じていない - 時には国家の行為者や広告技術のデマのせいで、時には80年代風のテレマーケティングスタイルの政治的変人たちが公共行政を乗っ取るのを許したから、正当な理由でね。

人類の歴史の大半は、その時代の支配階級によって書かれてきたんだよね。透明性って、彼らの避けられない没落の後にしか現れないことが多いし、そのためには真実の糸を解きほぐすための膨大なコストがかかる。まるで私たちが作り出した機械のように、私たちも無限の後退サイクルにはまっている気がする。「今」の人たちは、何らかの理由で自分たちのフィクションを真実のようにしがみつく傾向があるよね。ナショナリズムの例外主義や人種的優越性、他者を排除する宗教など。人間は自分を欺くことや、信じるべきでないものを信じたがる本能的な欲求があるみたい。冷酷で容赦ない現実に生きるための一種の存在的な対処メカニズムなのかも。私たちは嘘の快適さを求めているんだ。信頼できるグループを作ると、派閥や対立に繋がることが多い。知識と信頼は、残念ながら私たちの種にとっては全然違うものなんだよね。

インターネット以前の社会では、信頼を管理するためのシステムが構築されていたんだ。そのシステムが存在するための条件(データの伝達速度、コンテンツ生成と検証の比率、合意を形成する能力)が変わってしまった。君はコミュニティや協力の呼びかけをしているけど、それはうまくいかないよ。人々がコミュニティや良いものを望んでいないからじゃなくて、インセンティブが世界を動かしているからなんだ。情報の共有を汚染することでお金を稼ぐ選択肢は、実際には選択肢じゃない。共有資源の劣化は、誰も逃げられないことを意味している。君が形成するコミュニティや作るグループは、誰かが共有インフラに火をつけるとき、その影響を避けることはできないよ。私たちは情報経済の暗い森の時代に突入している。モデルが改善され、推論コストが下がり、能力が増すにつれて、オンラインでコンテンツを作る主要な存在はボットになるだろう。人々のコミュニティを作る代わりに、エンゲージメントのルールに基づいたコレクションを作るべきだ。参加者は、ボットでも人間でも、対立や議論のための規定されたルールに従わなければならない。そうすれば、機械と話しているのか人間と話しているのかは関係なくなる。重要なのは、ルールが守られたかどうかだけなんだ。

古いインターネットは、まるでクジラの死骸みたいだった。オンラインの情報は、対面の情報よりもかなり信頼できて、便利で豊富だった。今、そのクジラは食べられちゃった。広いインターネットは、ほとんど信頼できないし、便利でもなく、情報もあまり豊富じゃない。人々は高信頼のゾーンに退避している。対面のネットワークや、リアルな友達からの製品推薦、クローズドグループチャット。これは世界の終わりではないけど、状況は変わった。情報を見つけるために、今まで以上に努力が必要になるだろうね。

私たちの世界はますます操作や真実、対話の欠如に囲まれている気がする。これがまさにHNの本質だよ。昨日のsamaの家がカクテルされたという話は、少なくともdangが人々に理性を持って暴力を支持しないように促す反応を引き起こすべきだった。でも、彼とtomhowはそれを見て見ぬふりして、流れに任せた。パンとサーカス。だけど、何か他のこと、どんなに些細なことでも、彼らはガイドラインを投げつけてきて、まるで重大な罪を犯したかのように扱う。クソみたいな奴らだ。HNはパフォーマンスだ。

カスタマーサポートチームと密接に仕事をしてきたけど、CSエージェントの前に出る技術的改善の目標は、チケットの数を減らしてコストを下げることだって確認できるよ。もちろん、顧客の維持率や満足度も測るけど、チケットの数が一番重要なんだ。チャットボットはLLMが登場するずっと前からこの目的で使われてた。面白い副作用として、CSは企業にとって早期警告システムでもあるから、人間に連絡を取りにくくすると、ユーザーの痛点に関する情報が出てきちゃう。もちろん、これが重要なのは、ユーザーがその製品を使う選択肢がある場合だけど、保険会社などにとってはプラスになるだろうね。

他の保険会社で買い物できないの?私は、エージェントやその秘書と話せるオフィスがあるから、特定のプロバイダーを選んだんだ。チャットボットとやり取りしなきゃならなくなった瞬間、ビジネスを他に移すよ。

ISPとの面白い経験があったんだけど、チャットボットが全然役に立たなくて(そりゃそうだ、私は「再起動してみた?」みたいな問題で電話してるわけじゃないから)、人間のエージェントにエスカレーションされたんだ。そのエージェントは明らかにLLMの出力をコピペしてた。なぜなら、(1)返答がほぼ私が電話する前にClaudeに聞いた内容と同じだったし、(2)たまにインディアンイングリッシュで、キャピタルや句読点なしの異常に短い返答が来たから。AT&Tが前のISPを買収して、別の子会社に切り替えさせられて以来、良い経験はしてないな。

1日に1000件の取引を行う必要はないよ。すべての購入を承認するのが致命的な不便になる世界は想像できない。根本的な構造的問題があるから、LLMにクレジットカードを渡すつもりもないし、今後のAIアーキテクチャに渡すことも考えられない。そんな基本的で安価な障壁を壊すリスクに見合うメリットが想像できないからね。でも、サポートに関する話は避けられないよね。

同意だね。この文章で唯一不満なのは、機械と議論する必要があることを新しくてイライラすることのように描いているところ。私はこれを常にやってるよ。コストコの薬局に電話するたびに、すぐに0を押す。電話のツリー、マジでクソだもん。いつもクソだし、何かを達成するにはすごく遅い方法だよね。助けが必要なときは、問題を理解して解決してくれる人に繋がる方がずっと楽だし。これを削減して得をするのは、株主と経営者のクズたちだけ。驚くことでもないけど、結局、クズたちのために全てが壊されてる。

Aphyrのシリーズを友達に全部送ったんだけど、二人とも独立して「要約してくれない?」って返事が来た。彼らとはよく話すけど、私が深いと思って勧める記事を送ることは滅多にないから、読んでくれると思ってたんだ。彼らは本をたくさん読む賢い人たちで、今はAIの大ファンになって、ほぼすべてにAIを使ってる。いろんなトピックでの議論は以前は豊かだったけど、今は浅くて、明らかに偏ったAIの要約を送ってくるだけ。彼らの集中力はどんどん減ってる。

友達は友達にAIの要約を送らない。

もしかしたら、彼らは君が思ってたほど賢くなかったのかもね?皮肉じゃなくて。初めて仕事に入った時からもう20年経ったけど、新しい機会を求めて新しい人たちに出会うのは素晴らしかった。賢い人たちがたくさんいるのもわかる。でも、賢いと思ってた人たちが、実は私よりも多くのコンテンツにアクセスできてたことも気づいた。彼らがシェアしてくれたことには感謝してるし、私にとっては啓発的だった。でも20年経って振り返ると、結局は賢いYouTubeの動画からの引用や、最新の思想家の意見を繰り返してるだけなんだよね。みんなそうだけど、私にとって大事なのは、噛み砕いて、分析して、統合すること。いろんな視点を共有することだよね。そういう友達もいたけど、1:1ではないんだよね。

このブログを過大評価してるかもね。先週のやつを読んだけど、あんまり好きじゃなかった。今回は、何か理由があってHNで高評価だったから読んだんだけど。全てが嘘だとは思わないし、LLMをただのクソ機械だと思ってるのも好きじゃない。これがどこに向かうのか理解するにはまだ早すぎる。人間はこんなに計算能力を持って、それを特定の方法で使ったことがないから。ユートピアへの道か、ディストピアへの道か、どっちにでもなり得る。体験するのは本当にクレイジーだよ。彼のシリーズはすごくネガティブで軽視してる感じがして、何も得られない。今、AIに関してはもっと多くの研究やお金、計算があるし、毎週か二週間ごとに何か新しいことが出てくる。2D、3Dモデル、新しいLLMのバージョン、小型のLLM、速い推論(NvidiaのNemotron)など、これがどう続くのかはわからない。彼はLLMについてたくさん知ってるのに、ネガティブで軽視してる感じがして、何かしっくりこない。

MITには、ChatGPTの使用がエッセイライティングの認知スキルに与える影響についての論文があるよ。 > 「あなたの脳とChatGPT:エッセイライティングタスクにおけるAIアシスタント使用時の認知的負債の蓄積」 > https://arxiv.org/abs/2506.08872 > 外部ツールの使用に関連して認知活動が縮小した。… > エッセイの自己報告された所有権は、LLMグループが最も低く、脳だけのグループが最も高かった。LLMユーザーは、自分の作品を正確に引用するのにも苦労していた。LLMは即時の便利さを提供するけど、私たちの発見は潜在的な認知コストを浮き彫りにしている。4ヶ月間、LLMユーザーは神経的、言語的、行動的なレベルで一貫してパフォーマンスが低かったんだ。

それとも、単に長文の分析を読みたくないだけなのかな?私もそのシリーズは楽しんでるけど、時々友達から送られてきたものを見て「そんなの全部読む気にならないよ」って思うこともある。友達が自分の成長に投資したい時間と同じだけの時間を投資したくないからって、彼らがバカになるわけじゃないんだよね。

以前尊敬していた人たちの関与がどれだけ浅くなったかを見るのは、ちょっと悲しい。私が憧れて学んできた人たちが、今ではChatGPTに考えさせて、記事やトピックの要約を求めて、せいぜい1、2分しか関与せずに次のことに移ってしまう。最近、私は同じ泥沼にハマらないように意図的なステップを踏んでいる。友達とメールでやり取りを始めて、チャットアプリを使う代わりに、何ページもある手紙を送り合っているんだ。今のところ、それは素晴らしい新鮮な息吹になっている。長文のコミュニケーションは、表面的な関与ではなく、考えや時間を必要とするから、音声チャットやインスタントメッセージングではできないような、非常に興味深い議論ができている。

責任の侵食とさらなる拡散が一番心配なトレンドだね。中規模の組織やビジネス、機関がそういう風に設計されて運営されてるから、LLMがそれをさらに悪化させる可能性が高い。

自分のLLMを持って、使い切る必要があるね。未来は、どんな問題領域でもLLMで自動化できる人が支配するようになる気がする。私のエージェントが君のエージェントと連絡を取ると思うよ。

コンピュータは決して責任を負うことはできない。だから、コンピュータが経営判断を下すべきではない — IBMの内部研修、1979年。これが「コンピュータがノーと言う」経験が多い理由と同じことを言っていることに気づくのに時間がかかった。結論は、誰かに責任を持たせたいなら成り立つ。責任を回避したいなら、コンピュータが全ての経営判断を下すべきだ。これはAIとは関係ないけど、そうするための別のメカニズムを提供するだけ。人々が「手伝いたいけど、コンピュータがそれを許可してくれない」と言うのはもう何年も続いてる。ウェブサイトは、A/Bテストによってプロセスが目標に基づいて決定するから、虐待的なパターンを発展させる。結果を測定しないから、彼らに許可を与えたことにはならない。経営陣は「コンピュータは決して責任を負うことはできない。だから、コンピュータが全ての経営判断を下すなら、責任は生じない」と解釈する。

君はその意味を誤解してるよ。もっと良い言い方をすると、「コンピュータは責任を持たせることができない。だから、全ての管理決定には責任が必要だから、コンピュータにはそれをさせてはいけない」ってことだね。

'aphyrの記事を楽しんでるんだけど、重要なポイントを提起してると思う。ただ、アメリカ特有の論争みたいに感じるんだよね。パターンはこんな感じかな:- この開発は悪い - 企業はこの開発を制約なしに使うだろう - ルールがないから好き勝手にできる - その結果、みんなが困る。でもその後に…「このことに関するルールを作ろう」って提案すると、みんな「ちょっと待って、ちょっと待って…その部分はどうかな?」ってなる。親愛なる友よ、アメリカはいつもこんな感じなんだ。19世紀と20世紀の歴史を学んでみて。企業はルールがないと私たちを徹底的に搾取するよ。確かに、規制が摩擦を生むから短期的にはお金が減るかもしれない。でも長期的には、より良くて実際に住みやすい社会が実現できるんだ。(ちなみに、私はアメリカ人で、向こうから批判してくるような偉そうなヨーロッパ人やオーストラリア人じゃないからね。ヨーロッパ人やオーストラリア人に対して悪気はないよ、みんな大好き。)

人々が完全に規制に反対しているわけじゃなくて、社会の構造が壊れているんだ。富を持つ人々、企業を含めて、お金で全てを影響・支配できちゃう。立法者は簡単に賄賂を受け取るし、訴訟は高くて何年もかかる。正しい人たちにアクセスできるほど金持ちかコネがないと、何も実現できないんだ。本当の問題は、新しい修正が必要だってこと。でもそれは難しい。75%の州が批准しなきゃいけないから、今の時代ではどんなテーマでもそれは不可能に思える。

どんな規制を提案するつもり?

もう一つ付け加えたいのは、アメリカのテックワーカーにとって、規制は利益を減らすってこと。これが給料やストックオプション、キャリアの成長に悪影響を与えるんだ。インセンティブが世界を動かしているから、たとえ人々が問題を認識しても、自分の未来を傷つけるくらいなら、他の誰かの問題にしたいと思うんだよね。

こういう記事や反応を読むたびに、いつも思うのは「人々が望んでいる理想の世界って何なんだろう?」ってこと。未来のすべては嘘だよ…確かに、過去もそうだったけど、何が言いたいの?「詐欺師」って言葉があるけど、実際にミネラルオイルを詐欺的に売ってた人たちがいたんだよね。人々は、買い手と売り手の間に敵対的な関係がなかった時代を懐かしんでいるけど、そんな時代は存在しなかった。そういう関係を持つには、売り手との個人的で繰り返しのある関係が必要なんだ。それは通常、高くつくことが多いけど、金銭的な費用だけじゃなくてね。これは繰り返しゲームのゲーム理論の話。これを確立する最も簡単な方法は、バーの常連になって、他の人に良い体験を提供すること。私がよく行く場所では、もし緊急事態が起きたら、信頼されているから手伝ってくれるかもしれないって思ってる。お金の封筒を渡されても、私がそれを盗むことはないって分かってるから。だって、少しのお金を取ってその場所での歓迎を台無しにする価値はないからね。オンラインの売り手やほとんどの企業ではそんなことは起こらない。常に「規模の経済でお金を節約できる、だから関係がなくても勝てる」って約束があったけど、大体それは真実だよね。でも、すべてが中国にアウトソーシングされて、誰でも基本的なバージョンを作れるようになった今、その利点の限界にぶつかっていると思う。ブランドが今後の市場でますます重要になると本当に信じてる。コストコで買い物するのは、彼らが顧客を大切にしているから。企業がそうでない他の分野では、誰がちゃんと扱ってくれるかを探すために自分で動かなきゃいけない。それは面倒だし、たぶん高くつくけど、それが買い手と売り手の自然な敵対的関係なんだ。規制は助けになるけど、万能薬ではないよね。最安値の人と契約して質の高いサービスを受けられるって期待は、今まで存在したことがない。

でも、じゃあ…このことにルールを設ける法律を作ろうって提案すると、みんな「ちょっと待って、待って…その部分はどうなの?」ってなるんだよね。もちろん、AIや他の新興技術の規制を求める人たちが本当に言いたいのは、「資格のない、偏見のある、腐敗した、または鈍感な人たちが、私たち全員に影響を与える決定を、不完全で誤解を招く、または急速に進化する情報に基づいて行うべきだ」ってことなんだよね。そして、他の国が自国を上回る理由を不思議がってる。

もしかしたら、たくさんの人が個人モデルを使ってバーガーキングのモデルをトークンを消費させるための分散型ボイコットを展開するかもしれないね。一般的にAIを嫌う人が多いことを考えると、こういうことが起こっていないのは驚きだよ。彼らは「AI」を使うという皮肉を回避することもできるし、マルコフ連鎖のような低テクの言語モデルが十分な時間の無駄を提供できると思う(昔ながらのAIMLチャットボットでやってみるのも面白そう)。非対称チャットボット戦争だね。

AIに対する不満が主に産業エネルギーの使用、サービスの質の低さ、人間の労働の置き換えに関するものであれば、CPU時間を無駄にすることは実際には有効な抗議にはならないと思う。バーガーキングが君のDDoS抗議から得る教訓は、より良い顧客サービスを提供すべきだということじゃなくて、顧客サービスを提供しない方がいいということなんだ。君は、顧客サービスを高くしすぎた消費者を責めるための無料の口実を与えてしまうことになるよ。

AIを嫌うほとんどの人は、システムによって完全に権利を奪われているんだ。メディアは彼らの声を増幅しないし、脅威と見なされる有力な政治リーダーは、予備選挙の党やPACの機械によって完全に破壊されてしまう。AIを嫌う人でも熱心な人でも、どちらにとっても非常に厄介な状況だよね。私は、私たちのトリリオンパラメータの多層の支配者を歓迎するよ。

お父さんがAIの助けを借りて車の鍵のバッテリーを交換したんだけど、すごく気に入ってるみたい。車の保険の規則についても相談したら、自分でネット検索するよりもずっと良い情報が得られたって。簡単な質問なら、グーグルでクソみたいな結果を探すよりもAIに聞いちゃうよ。大体、AIは十分に役立つし、時には従来の方法よりもいい結果が出ることもある。人々は、仕事がうまくいく限り、バカな予測マシンだって気にしないんだよね。

赤ちゃんをワクチンクリニックに連れて行くまで、看護師がその年齢に合ったワクチンをグーグルで調べて、上にハイライトされたAIのスニペットを盲目的に信じるっていうのは、架空の例じゃないよ。