もちろん、最も良い行動っていうのは、権力者たちにとって全く脅威にならない行動だよね。なんて素晴らしい未来が待ってるんだ、仲間たちよ。

HBOの「ウエストワールド」の後半のシーズンを最後まで見た人は、エリソンが描いてる世界の信じられないほどリアルな見方を得られたと思う。しかも、その時期は必要なコンピュータ技術の多くがまだSFみたいに思えた頃だったし。アーロン・ポールのキャラクターが10年前にダイナーで母親と交わしたランダムな会話を、機械知能が録音して保存していたってアイデアには、ちょっと笑っちゃったのを覚えてる。プライバシーの熱心な支持者ではなかったけど、大きな政治的行動がない限り、パノプティコンが包括的で実行可能、しかも安価に出現するのは避けられない気がする。

ラリーはいい例になって、すべてのコミュニケーションを公開すべきだよ。彼は常に「良い行動」をしてると思うし。

10年か20年後に振り返ると、ほぼ全ての人が監視される時代がAIの最大の社会的影響の一つ、いや、もしかしたら最大かもしれないって見られると思う。まだ表面をかすっただけで、ほとんどの人がそれを深く考えてない気がする。エリソンが何が起こっているのかを人々に教育していることには感謝してるかな。

ここで本当に危険なのは、「監視は悪い」ってだけじゃないんだ。AIが監視を制限していた労働コストを取り除くことが問題なんだよ。CCTVはすでに問題だったけど、誰かがそれを見たり、検索したり、解釈したり、エスカレーションしたりしなきゃいけなかった。AIはそれを変える。監視を検索可能で、スケーラブルで、管理的に役立つものにする。変化は「あなたは観察されるかもしれない」から「あなたの行動は常に機械的に解釈される」に移る。それが国家の道徳的な形を変える。民主主義は警察、裁判所、国境、監査、詐欺検出、公共の秩序を持つことができる。真剣な議論は、誰も監視されるべきではないってことじゃないと思う。問題は非対称性だ。普通の市民が国家やその契約者に対して、国家よりも透明になったら、自由な社会は生き残れない。原則はこうあるべきだ：人にはプライバシーを、権力には透明性を。警察のボディカメラは警察に責任を持たせるべきだし、調達は監査可能であるべきだ。アルゴリズムによる決定には監査の記録が必要だし、内部告発者やジャーナリストは保護されるべきだ。公共のシステムは市民にとって理解できるものであるべきだ。私が心配しているのは、オーウェルの漫画的なバージョンだけじゃなくて、退屈なバージョンなんだ。安全ダッシュボード、リスクスコア、詐欺検出、生産性分析、移民の取り締まり、「信頼と安全」、コンプライアンスの自動化、調達契約。ブーツは必ずしもブーツとして現れるわけじゃない。時にはインフラとして現れることもある。で、難しい質問は、監視が秩序を生み出せるかどうかじゃない。もちろん生み出せる。刑務所もそうだ。問題は、その後に責任ある権力を生み出すかどうかだ。パノプティコンは「良い行動」を生み出すかもしれないが、それは市民を管理された対象に変えてしまうだけだ。最近の新しいビジネスの文脈、例えばアマゾンの倉庫作業員や配達員を通じて人をコントロールしようとするこのフェティッシュな感覚を理解しようとしてるんだけど、それが生み出すのはただの恨みだけなんだよね。それで会社や社会を作りたいの？恨みの上に？