世界を動かす技術を、日本語で。

DuckDuckGoの創設者:AI監視は禁止されるべきだ

概要

AIチャットボットによるプライバシー侵害は、従来のオンライン追跡よりも深刻化。 チャット形式が個人情報や思考パターンをより詳細に露呈。 AIは説得力が高く、個人に合わせた操作や広告が可能。 プライバシー保護型AIサービスの必要性が急増。 法整備が追いつかず、さらなる監視社会化への懸念。

AIチャットボットとプライバシー侵害の深化

  • 従来のオンライン追跡 と同様のプライバシーリスク、AIによる拡大
  • チャットボット会話 は長文検索クエリに似るが、個人情報の露出度が大幅増
    • 長い入力による個人情報の詳細な提供
    • 相談相手やカウンセラーのように感じる会話形式
  • 検索クエリ は興味や悩みを明かすが、AI会話は思考やコミュニケーションスタイルまで露呈
  • より豊富な個人情報が 商業的・イデオロギー的操作 に活用される可能性
    • 行動ターゲティング広告や政治的誘導
    • SEOやシステムプロンプトによるAIモデルの操作
  • AIチャットボット は人間より説得力が高く、利用者を妄想的思考へ導く事例も発生

パーソナライズと操作の危険性

  • チャットボットの記憶機能 による個別最適化された説得
    • 過去の会話を学習し、個人の“説得トリガー”に合わせた影響
  • 明らかな広告ではなく、 自然な会話や誤情報 による操作
    • 誤った“事実”やさりげない商品推薦
  • Google検索のプライバシー論争 が、より深刻な形でAIチャットにも適用

プライバシー保護型AIサービスの登場と課題

  • DuckDuckGo によるDuck.aiなど、プライバシー重視のAIサービス提供開始
    • 匿名AIアシスト検索や保護されたチャット
  • しかし、 保護されたチャット はまだ標準ではなく、プライバシー事故が多発
    • Grokによる大量の会話漏洩
    • PerplexityのAIエージェントのハッキング脆弱性
    • OpenAIの“スーパーアシスタント”構想:すべての行動・発言の追跡
    • Anthropicによる会話データのデフォルト学習化

法整備と今後の展望

  • 連邦議会による迅速な法整備 の必要性
    • 保護されたチャットの標準化
    • 2025年現在、米国には包括的なオンラインプライバシー法が未整備
    • 憲法レベルでのプライバシー権の必要性
  • AI特化型の連邦法 制定の可能性
    • 州単位のAI法規制を禁じる動きには懸念
  • 毎日悪習が定着し、 AI監視社会化 が進行
    • オンライントラッキングの歴史の繰り返し
    • 今こそAI監視の禁止が必要

DuckDuckGoの立場と今後

  • DuckDuckGo は今後もプライバシー保護型サービスを提供
    • オプションでAIサービスを選択可能
    • 生産性向上とプライバシー保護の両立を目指すユーザー支援

Hackerたちの意見

作者さんがこれを見ていたら…もう一歩踏み込んで、具体的にどんな政策を推奨しますか?ユーザーデータでLLMプロバイダーが学習しないことが大事なポイントみたいだけど、従来のMLモデルを使ってキーワード分析をするのは「AI」なのか「監視」なのか、どうなんだろう?作者さんやこのコミュニティ全体として、AI監視政策についての具体的な提言をする準備はできてると思う。イノベーションを潰さないように、良い規制を実現するために明確にしておくべきだね。

法律は、クラウドでのさらなる処理の前に、各カメラ内の全ての人の顔や体のシルエットをぼかすことを義務付けるだけでシンプルにできるかもしれない。これでCCTV映像のプライバシーが守られる。

TFAから: 「だからこそ、私たち(DuckDuckGo)は、保護されたチャットボットの会話や、プライベート検索エンジンでのオプションとして匿名のAI支援回答を提供し始めました。これによって、プライバシーを尊重するAIサービスが実現可能であることを示しています。」これが良いアイデアかどうかは分からないけど、何が実現可能にしているのか気になる。ここには暗黙の推薦があるように思える。「イノベーションを潰す」というのは、つまり「これらの企業が何か別のことをするためにお金を稼がせる必要があるから、少しでも悪質な方法でお金を稼がせるべきだ」ってこと?それとも、具体的にどんな懸念があるの?何をイノベートする必要があるの?

ありがとう(作者です)。具体的な提言を含むフォローアップの投稿(おそらく複数)を作成中です。

LLMプロバイダーは、公的なデータでのみ学習を許可されるべきで、彼らのモデルや出力は学習データのライセンスの範囲内であるべきだ。人々は自分に関する全てのデータを所有すべきで、全ての権利は留保されるべき。著作権がこの種の悪用から守る法律であるのは皮肉だよね。だからこそ、大手「AI」企業は、モデルの学習が派生作品ではないと主張して、それを弱めようとしているんだ。あるいは、2分でプロンプトを書くことが出力の著作権を持つのに十分な創造的な作業だと主張しているけど、モデルは10^12時間の人間の作業に基づいているのに、数桁のオーダーを無視してる。

問題は、プライバシーのために企業の言葉を信じなきゃいけないことだよね。

AIは大規模な事後的な思想警察を実現可能にする。これってめっちゃ怖いよね。

検索履歴よりも遥かに多いよ。

人々はオンラインに何も投稿したくないって結論に至ると思う。プライベートチャットが存在するならそれは残るけど、すでにアート作品を生成したら、それはGoogleやMetaの株主に寄付するようなもんだからね。思想警察や似たような影響が出る前の話だけど。

大手AI企業がプライバシー保護を推進し続けると思ってる。サム・アルトマンがインタビューで弁護士とクライアントの特権に例えてたけど、プライバシーの欠如から、これらを完全に信頼できるパーソナルアシスタントや知識ベースとして使うのには大きな抵抗がある。唯一の本当の解決策はローカルでモデルを動かすことだけど、それはビジネスモデルに反する。だから、彼らは規制を求めて、権威的にプライバシーを作ろうとするんだ。権威的なプライバシーは、誰かを殺したってセラピストに言うのと同じ問題を抱えてるし、財布の鍵を紙に印刷して安全に保管するのと同じだ。規制や「大きな善」の定義に依存していて、自分ではコントロールできない。

でもそれはビジネスモデルに反する。 ハードウェアを売っているなら別だよ。もし俺がApple、Dell、Lenovoだったら、Hugging Faceをサポートするローカル実行モデルを推進するだろうし、ローカルで推論できるシステムを全力で開発するだろうね。

フィアットのプライバシーは、セラピストに誰かを殺したって言うのと同じ問題を抱えてるし、財布の鍵を紙に印刷して安全に保管するのと同じだね。教会から学ぶことがあると思う。もしLLMの提供者やその従業員がプライバシーを守ることにコミットして、クライアントのために自分たちの富や自由を犠牲にする覚悟があれば、社会は応えてくれるよ。裁判所で、あるCrimeStoppersのコーディネーターが機密情報を持ってることを破棄する動画を見たことがあるんだけど、侮辱罪の脅しの中でそれをやって、軽い処分で済んでた。まともな社会では、原則を守ることがちゃんと機能するんだよね。

いい指摘だね。チャットボットと話したことがある人は、過去の会話内容が今後、広告のターゲティングや、経済的・政治的に操作されるために使われる可能性があるってことを知っておいてほしい。しかも、その内容は削除できないからね。「特定のあなたに対するパーソナライズされた影響力」を最高入札者にサービスとして売ることもあるかもしれない。みんながこれを理解しているか確認したかったんだ。追記:チャットログでの「トレーニング」が問題なんじゃなくて、実際にはその危険性を過小評価していると思う。未来の広告ボットやインフルエンスボットがあなたと話すとき、過去のチャットログをコンテキストとして使うことを想像した方がいいよ。何が効果的かを知るためにね。

法的な案件に関連することを話すと、文字通り法廷で読み上げられる可能性もあるよ。

AIチャットボットで一番怖いのは、搾取者とのインターフェースだと思う。彼らは「この人とのチャットを全部考慮して、どうやって彼を操ってxをさせるか?」って簡単にプロンプトを出せるからね。特別な専門知識なんて必要ない。AIに全部やらせればいいんだ。

正直、リターゲティング広告やパーソナライズ広告には全然気にならない。どうせ広告を見るなら、自分が興味を持ちそうな広告の方がいいし、無関係な医薬品やその他のナンセンスな広告よりはマシだよね。

もし全世界で国際的な条約によって禁止されない限り、これは絶対に機能しないよ。アメリカだけで禁止したところで、中国やロシアに負けるだけだからね。好きか嫌いかは別として、これは相互確証破壊の軍拡競争だよ。AIは新しい核爆弾だ。

本物の核兵器はまだ機能してるし。中国が勝ったら具体的に何が悪いの?勝つってどういう意味?侵略はできないし、核兵器があるから。選挙を操作できる?うん、だからグレートファイアウォールの逆をやって、彼らをインターネットからブロックすればいい。市民が物理的に入ってくるのもブロックすべきだね。中国は彼らにスパイを強制してることで知られてるし、これはやるべきことだよ。

間違ってる。過剰なデータ収集は禁止されるべきだよ。

チャットボットの一番の問題は、常に人間のように扱おうとすることだと思う。経験豊富なソフトウェア開発者ですら、人間とやり取りしているかのように振る舞ってしまうことがある。でも、LLMは人間じゃないし、OpenAIや他の会社は「あなたは人間と話しているわけじゃない」ってことを繰り返し明確にすべきだと思う。もし社会がAIを人間として扱わないように教育されれば、もっと良くなるはず。

もし社会がAIを人間として扱わないように教育されれば、もっと良くなるはず。なんでそう思うの?詳しく教えてほしい。興味あるけど、具体的な理由がないね。

フルタイムのコーダーじゃないけど、仕事の25%くらいはコーディングしてるかな。LLMと会話するタイプの人間でもないけど、たまにのやり取りは実際楽しいと思う。例えば、Claudeとかが長い間悩んでたバグを直してくれたら、「お前、やったな!じゃあ次は…」って感じで。LLMからはめちゃくちゃ学んでるし、最近は楽しくコーディングすることが増えたよ。重い作業はほとんど彼らがやってくれてるけどね。

Facebookをやめたのは、7歳くらいのオーストラリアの女の子が顔より大きいクモを手に持ってる動画を見たから。思いつく限りのインターネットミーム的なコメント「そのクモを放して、家を燃やそうぜ!」って投稿ボタンを押したんだけど、投稿できなくてアカウントストライクを受けた。当時、僕は雇い主のFacebookアプリ統合を担当している唯一の開発者だったから、異議を申し立てたんだけど、別のAIがすぐに却下したんだ。もしかしたらすごく早い人間かもしれないけど、ミーム文化を全然知らないみたいだった。だから、Facebookは完全にやめた。AIが私たちを罰することが許されるなら、私たちは終わりだよ。

プライバシーを洗浄するマーケティングとは裏腹に、DuckDuckGoはトラッキングパラメータがたくさんついた隠れたBing広告のURLを提供してる。これって監視としてはいいの?