世界を動かす技術を、日本語で。

ラリー・エリソン:「市民は録音されているので、最良の行動をとるだろう」

概要

  • Oracle共同創業者Larry Ellisonが AIと監視社会の未来 について警鐘
  • AIが リアルタイム映像解析 を通じて社会行動に影響を与える可能性
  • 監視技術の進化が 市民の行動変容 を引き起こす懸念
  • George Orwellの『1984年』に類似した ディストピア的未来像
  • 企業や政府による AI利用の監視強化 が進行中

Larry Ellisonが語る監視社会の到来

  • Oracle共同創業者 でCTOのLarry Ellisonによる将来予測
  • 2024年9月のOracle財務アナリスト会議での 質疑応答セッション
  • AIやドローン、監視システム の台頭に言及
  • ストリート、車両、玄関、警察官などに設置された カメラの爆発的増加
  • AIが 膨大な映像データ をリアルタイムで解析し、自動的に問題を報告
  • AIの普及によって市民は 行動を無意識に調整 するようになる可能性
  • George Orwellの小説『Nineteen Eighty-Four』における ビッグブラザー的世界観 との類似性

AI監視社会への懸念と現状

  • AIによる監視への 反発運動と研究 の拡大
  • 米国国土安全保障省(DHS)が AIでSNS監視・要約 を行う事例
  • 大手企業による 職場監視 の進行
    • Meta CEOのMark Zuckerbergが 社員の行動解析 にAIを利用していると認める
    • クリックやキーストロークのトラッキングによる データ収集
  • ここ数十年の 監視強化の流れ が続く中、Ellisonは 新技術が監視社会を加速 させることを懸念

まとめ:AIと監視社会の未来像

  • AI技術の進化が 個人のプライバシーと自由 に与える影響
  • 企業や政府による 監視の高度化 と市民生活への波及
  • テクノロジーの進歩に伴う 倫理的・社会的課題 の重要性
  • 監視社会に対する 市民の意識変化と対応策 の必要性

Hackerたちの意見

もちろん、最も良い行動っていうのは、権力者たちにとって全く脅威にならない行動だよね。なんて素晴らしい未来が待ってるんだ、仲間たちよ。

それは主観的な意見だね。子供の頃、私の「良い行動」には、法執行機関を襲ったり、議会の壁に糞を塗りたくることは含まれてなかったけど、今ではその行動が受け入れられて、公式に称賛されることもあるんだよね。

それが今、中国で起こってることだね。

もちろん、録画は権力者を脅かす人々に対して使われるけど、権力者は沈黙の中にいる。昔から変わらないよ。権力は他の人を黙らせるんだ。これは協調行動の問題から来てる。非対称な法執行の基盤であり、専制政治の礎でもある。表面的には「法の支配」で支配されている社会でもね。新しいのは、権力の手綱がどれだけ集中しているかってこと。逆説的に、これが大きな不安定の時代を引き起こすかもしれない。「四人の皇帝の年」だね。

HBOの「ウエストワールド」の後半のシーズンを最後まで見た人は、エリソンが描いてる世界の信じられないほどリアルな見方を得られたと思う。しかも、その時期は必要なコンピュータ技術の多くがまだSFみたいに思えた頃だったし。アーロン・ポールのキャラクターが10年前にダイナーで母親と交わしたランダムな会話を、機械知能が録音して保存していたってアイデアには、ちょっと笑っちゃったのを覚えてる。プライバシーの熱心な支持者ではなかったけど、大きな政治的行動がない限り、パノプティコンが包括的で実行可能、しかも安価に出現するのは避けられない気がする。

つまり、遠隔でしか参加できない親戚とのミーティングを作らなかったってこと?それに参加できなかった親戚のために文字起こしもしなかったの?びっくりだわ /j

ラリーはいい例になって、すべてのコミュニケーションを公開すべきだよ。彼は常に「良い行動」をしてると思うし。

たとえ彼がやったとしても、エプスタインの連中はすでに何でも逃げ切れるってことを示してるから、何の意味があるんだろうね。

10年か20年後に振り返ると、ほぼ全ての人が監視される時代がAIの最大の社会的影響の一つ、いや、もしかしたら最大かもしれないって見られると思う。まだ表面をかすっただけで、ほとんどの人がそれを深く考えてない気がする。エリソンが何が起こっているのかを人々に教育していることには感謝してるかな。

そうだね、LLM(大規模言語モデル)は、ビッグテックがオンラインの世界からリアルな世界まで監視を拡大するのを可能にするだろうね。それによって、彼らの生活のあらゆる側面を監視することになる。みんながそのことに気づくまでには、たぶん10年くらいかかると思うよ。Facebookのコストを理解するのに10年かかったみたいにね。

ここで本当に危険なのは、「監視は悪い」ってだけじゃないんだ。AIが監視を制限していた労働コストを取り除くことが問題なんだよ。CCTVはすでに問題だったけど、誰かがそれを見たり、検索したり、解釈したり、エスカレーションしたりしなきゃいけなかった。AIはそれを変える。監視を検索可能で、スケーラブルで、管理的に役立つものにする。変化は「あなたは観察されるかもしれない」から「あなたの行動は常に機械的に解釈される」に移る。それが国家の道徳的な形を変える。民主主義は警察、裁判所、国境、監査、詐欺検出、公共の秩序を持つことができる。真剣な議論は、誰も監視されるべきではないってことじゃないと思う。問題は非対称性だ。普通の市民が国家やその契約者に対して、国家よりも透明になったら、自由な社会は生き残れない。原則はこうあるべきだ:人にはプライバシーを、権力には透明性を。警察のボディカメラは警察に責任を持たせるべきだし、調達は監査可能であるべきだ。アルゴリズムによる決定には監査の記録が必要だし、内部告発者やジャーナリストは保護されるべきだ。公共のシステムは市民にとって理解できるものであるべきだ。私が心配しているのは、オーウェルの漫画的なバージョンだけじゃなくて、退屈なバージョンなんだ。安全ダッシュボード、リスクスコア、詐欺検出、生産性分析、移民の取り締まり、「信頼と安全」、コンプライアンスの自動化、調達契約。ブーツは必ずしもブーツとして現れるわけじゃない。時にはインフラとして現れることもある。で、難しい質問は、監視が秩序を生み出せるかどうかじゃない。もちろん生み出せる。刑務所もそうだ。問題は、その後に責任ある権力を生み出すかどうかだ。パノプティコンは「良い行動」を生み出すかもしれないが、それは市民を管理された対象に変えてしまうだけだ。最近の新しいビジネスの文脈、例えばアマゾンの倉庫作業員や配達員を通じて人をコントロールしようとするこのフェティッシュな感覚を理解しようとしてるんだけど、それが生み出すのはただの恨みだけなんだよね。それで会社や社会を作りたいの?恨みの上に?

「あなた」というわけではないけど、どれだけ自分がコントロールを持ちたいと思ってる?CEOや取締役会の役割を狙っている人たちや、王を作り出そうとしている人たち、いろんな役職に立候補しようとしている人たちほどじゃないよね。彼らは恐れられることをすごく許容してるし。

これは、基本的に「TVtropesのファシストだけど非効率的」って感じだけど、雑務を省いてるんだよね。[1] ここで思い浮かぶのは、テリー・ギリアム監督の映画『ブラジル』だね。国家の非効率性が悪の一部になってるのは、間違ったことに対してほとんど気にしないからだよね。機械知能がその状況をどう変えるのか、ちょっと気になるな。[1] https://tvtropes.org/pmwiki/pmwiki.php/Main/FascistButIneffi...

もう、自分のコメントを書けばいいじゃん。AI生成のコメントを使う必要なんてないよ。いいこと言ってるけど、TwitterのAIっぽいスタイルが読みにくくてイライラする。

うーん、なんかこのコメント、AIの匂いが強いね。AIをいろんなことに使うのはいいけど、人間同士の議論には使わないでほしいな。

ベンサムのパノプティコンの概念は面白いよね。観察される可能性が少しでもあれば、人は観察されているかのように振る舞うんだ。実際に観察されていなくてもね。今、私たちはほぼすべてのことに対してそんなシステムを持ってる。ビッグブラザーからだけじゃなくて、リトルブラザーの方向からもね。いつでも、誰かがあなたの古いデジタル足跡を引っ張り出して、非難するかもしれない。AIがなかった時代でも、IRSが過去の税申告を監査することを決めたり、データ漏洩で個人情報が暴露されたり、街のカメラが交通違反で捕まえたり、誰かが監視映像を引っ張り出して何かであなたを捕まえたりすることがあったよね。二つのシステムの違いの程度は重要だけど、そういうことの心理的負担は、工業文明に生きるみんながすでに背負ってるんだ。パノプティコンと同じように、ちょっとした監視の可能性があれば、求められる結果の80%はすでに得られているんだよ。実際、テッド・カジンスキーみたいな人が数十年前に悩んでいたのは、そういう状況なんだ。文明の中心にいる人たち、特に大都市に住んでいる人たちは、もう何十年もほぼ常に監視されている状態だね。

それが、あなたが会社や社会を構築したい方法なの?恨み?彼らの目標を誤解してると思うよ。彼らは社会や会社がどう作られるかなんて気にしてない。彼らがそれを作っていて、階層のトップにいることだけが大事なんだ。スタートアップやテック企業を作ったときと同じように、スピードを重要なアドバンテージと見ているから、先行者利益を得て防壁を築こうとしている。長期的な持続可能性や健康は、二次的、あるいは三次的な関心事なんだ。もしパノプティコンや奇妙なネオ封建的なテクノファシスト社会が、もっと平等なものよりも早く構築できるなら、彼らの視点ではそのネオ封建的なテクノファシスト社会の方が「良い」とされて、それに偏って構築されるだろうね。

君のコメントには二つの目立ったポイントがあるね。1. 退屈なオーウェル:継続的な監視は、すでに街や店、学校、車、バス、家などのカメラの形で存在してる。AIはこれらの映像を常に監視するために使われるだろう。2. 責任ある権力:冗談だよね?!

人々を強制的にコントロールしようとするこのフェティッシュが、アマゾンの倉庫労働者や配達員のような新しいビジネスの文脈で広がっている。これが生むのは、ただの恨みだけだよ。それで会社や社会を作りたいの?恨み?「恨み」というのは、これが生むものを悪意で解釈したものだ。実際に生まれるのは、管理業務や価値の抽出を自動化する強力なメカニズムなんだ。

警察のボディカメラは、警察に責任を持たせるべきだ。あまり報告されていないけど、警察のボディカメラは、減少ではなく、警察の暴力を増加させているんだ。 https://prismreports.org/2024/07/16/complex-troubling-histor... このトピックに関する素晴らしい本もあるよ: https://thenewpress.org/books/copaganda/

これはそのままLLMからコピーしたやつだね。みんな、LLMの出力を人間らしくしようとしないの?それってやる価値あるのかな?個人的には、みんながそうしてくれたらいいな。LLM生成のコメントだって気づいた瞬間、興味がすぐに失せて読むのをやめちゃうから。

バングラデシュはそのいい例だよ。人々は普段、交通ルールを守りたがらないんだ。でも、AIカメラで録画して、AIによる罰金システムがあるおかげで、みんな交通ルールを守ろうと頑張ってる。特定のエリアでは、日本みたいになってきてるよ。警察は、億単位の車に罰金を科すのが怖かったんだ(だって、車の持ち主が何か大きな権力に関わってるかもしれないし、職を失うかもしれないから)。今は、路上でおしゃべりして、AIに仕事をさせてる。HNの人たちにとって、監視は怖いかもしれないけど、私たちにとっては、監視は恵みなんだ。

それってどこまで続くの?もし、あなたが通り過ぎただけなのに、老婦人を襲ってる幻覚を見たらどうなるの?群がって引きずられる羽目になるよ。政治的な反対派を陥れるために使われるのはいつになるんだろう?

おお、あなたのコメントを読んで調べてみたら、ほんとに先月始まったばかりなんだね!もうこんな影響が出てるなんてすごいね。

録画そのものが重要なのではなく、実際の執行が大事なんだよ。中国では、横断歩道を渡るときの顔写真が交差点の大型ビジョンに映し出される。それによる社会的な屈辱が、人々を行動に導いて公共の秩序を保つんだ。恥知らずなアメリカ人はこういう方法を逆手に取るだろうから、アメリカの文化では逆効果になると思う…それって暗い未来だよね、もっと厳しい監視が必要になるってことだから。中国のおばちゃんたちが警察と喧嘩するのを見てると、アメリカではもっと暴力的な結果になるだろうな。アメリカの法執行機関が良い行動を強制するためにやらなきゃいけないことは、もっと暴力的になるだろうね。

横断歩道の取り締まりが、今の社会に必要だとは思わないな。

監視は、非常に小規模な社会でしか機能しないと思う。監視 == 情報 == 権力。じゃあ、誰がその監視を管理するの?君?私?政府?どうやって彼らを信じるの?信頼が監視の根本的な問題なんだ。無実の人が通りで殺された。通りのあらゆる角に監視カメラがあれば、簡単に犯人を捕まえられたはずだ。録画を管理するのは誰?個人?団体?政府?彼らが顔をタグ付けしてデータを売ってないってどうやってわかるの?常に信頼の問題なんだ。興味深いのは、韓国のソウルのケースだね。あそこはほぼすべての角にカメラがある。私の見解では、一般の人々は、前述のような状況を避けるために録画された通りを好むと思う。ただし、政府に対する信頼があればこそ機能するんだ。逆にアメリカでは、政府と人々の間の断絶が大きすぎて、そんな信頼は持てないと思う。

こういうことを主張する人は、まず真っ先に24時間365日の監視にサインアップすべきだよね。家族全員もね。

ちょっとクリックベイトっぽい見出しだね。彼はボディカメラについての議論で、警察と対比して「市民」という言葉を使ったんだ。>「もう一つのこと:ボディカメラ、私たちはボディカメラを完全に再設計しました。私たちのボディカメラは70ドルで、普通のボディカメラは、うーん、7000ドルくらいかな[...] メンフィスでのこのひどい事件を思い出してほしい。5人の警官が別の市民をほぼ殴り殺した事件だが、そんなことは起こらない。なぜなら、それは本部のテレビで放送されるから、みんなが見ることになるし、あなたのボディカメラがそれを送信しているから。警察は最高の行動をするだろうし、市民も最高の行動をするだろう。なぜなら、私たちは常に起こっていることを録画して報告しているから。」監視には賛成じゃないけど、この記事はちょっと変だね。見出しを含む記事全体が一つの引用だけで構成されていて、文脈が全くない。好意的に解釈すれば、「市民は警察が映像を確認できることを知っているから、警察の前では行動が良くなる」ってことになるけど、好意的な解釈を推奨しているわけじゃないよ。引用の全文すら提供しないなら、読者が自分の結論を引き出すことすら許していないってことだよね。 https://www.oracle.com/events/financial-analyst-meeting-2024... 1:10:03