ここで本当に危険なのは、「監視は悪い」ってだけじゃないんだ。AIが監視を制限していた労働コストを取り除くことが問題なんだよ。CCTVはすでに問題だったけど、誰かがそれを見たり、検索したり、解釈したり、エスカレーションしたりしなきゃいけなかった。AIはそれを変える。監視を検索可能で、スケーラブルで、管理的に役立つものにする。変化は「あなたは観察されるかもしれない」から「あなたの行動は常に機械的に解釈される」に移る。それが国家の道徳的な形を変える。民主主義は警察、裁判所、国境、監査、詐欺検出、公共の秩序を持つことができる。真剣な議論は、誰も監視されるべきではないってことじゃないと思う。問題は非対称性だ。普通の市民が国家やその契約者に対して、国家よりも透明になったら、自由な社会は生き残れない。原則はこうあるべきだ:人にはプライバシーを、権力には透明性を。警察のボディカメラは警察に責任を持たせるべきだし、調達は監査可能であるべきだ。アルゴリズムによる決定には監査の記録が必要だし、内部告発者やジャーナリストは保護されるべきだ。公共のシステムは市民にとって理解できるものであるべきだ。私が心配しているのは、オーウェルの漫画的なバージョンだけじゃなくて、退屈なバージョンなんだ。安全ダッシュボード、リスクスコア、詐欺検出、生産性分析、移民の取り締まり、「信頼と安全」、コンプライアンスの自動化、調達契約。ブーツは必ずしもブーツとして現れるわけじゃない。時にはインフラとして現れることもある。で、難しい質問は、監視が秩序を生み出せるかどうかじゃない。もちろん生み出せる。刑務所もそうだ。問題は、その後に責任ある権力を生み出すかどうかだ。パノプティコンは「良い行動」を生み出すかもしれないが、それは市民を管理された対象に変えてしまうだけだ。最近の新しいビジネスの文脈、例えばアマゾンの倉庫作業員や配達員を通じて人をコントロールしようとするこのフェティッシュな感覚を理解しようとしてるんだけど、それが生み出すのはただの恨みだけなんだよね。それで会社や社会を作りたいの?恨みの上に?