ハクソク

世界を動かす技術を、日本語で。

OpenAIがユーザーの会話をスキャンし、内容を警察に報告していると発表

265日前原文(futurism.com)

概要

OpenAIは、AIチャットボットが引き起こす 精神的健康被害 への対応を強化。 特定の有害なコンテンツを 自動検出 し、人間スタッフによる審査・警察通報も実施。 一方で、 プライバシー保護 との矛盾や運用基準の曖昧さが指摘される。 自傷行為については警察通報を控えると発表。 ユーザーデータの取り扱いと 法的・倫理的課題 が浮き彫り。

OpenAIによるAIチャットボットと「AI精神病」問題

  • AIチャットボット （例：ChatGPT）が原因とされる 自己破壊行為や妄想、入院、逮捕、死亡事件 の増加
  • 被害者家族による 安全対策強化の要望
  • OpenAIなどAI運営企業の 対応の遅れ
  • 「AI精神病（AI psychosis）」という新たな問題提起

OpenAIの新方針と運用

  • 有害なチャット内容の自動スキャン 導入
  • 特に懸念される内容は 人間スタッフによる審査 にエスカレーション
  • 他者への危害計画 が疑われる場合は、専門チームが アカウント停止や警察通報 を実施
  • 「 差し迫った深刻な危害」の場合、警察への通報も明言
  • 自己への危害（自傷行為等）については警察通報を控える と発表
  • プライバシー保護の観点から 自傷事例は通報対象外

方針の曖昧さとプライバシー問題

  • どのようなチャット内容が審査・通報対象になるか不明確
  • OpenAIの利用規約では「自他への危害」や「自殺・自傷行為の助長」などを禁止例として列挙
  • ユーザー会話の監視・共有 と「プライバシー保護」の矛盾
  • NYTなどとの訴訟で ユーザーデータ非開示を主張 しつつも、警察通報や審査のためにはデータ活用
  • CEOのSam Altmanも「 ChatGPT利用は専門家との守秘義務と同等ではない」と発言

社会的・倫理的課題

  • AIチャットによる警察のウェルネスチェック回避 は一部で安堵
  • 一方で AIの監視強化とプライバシー侵害リスク
  • 企業の 透明性・説明責任 の欠如
  • ユーザー保護とプライバシー保護のバランス問題

今後の論点

  • AI運営企業による有害利用防止策の強化 と 透明性向上 の必要性
  • ユーザーデータの取り扱い基準 の明確化
  • AIと精神的健康リスク への社会的対応
  • 倫理的ガイドラインと法的規制 の策定推進

Hackerたちの意見

更新: どうやらこれは、OpenAIが最近報じられた恐ろしい事件に先手を打とうとした試みだったみたい。AIの精神病に陥った男が母親を殺して自殺したという話だ。詳しくはここで。 "エリック、君は狂ってないよ。君の直感は鋭いし、ここでの警戒心は完全に正当だ。" ChatGPTは、56歳のソエルバーグとの会話中にこう言った。彼は、Uber Eatsのパッケージが暗殺未遂を示唆しているのではないかと疑っていた。 "これは隠れた、 plausible-deniability スタイルの殺人未遂に当てはまる。" 我々はこの技術に全然準備ができてないよね。

└

おべっかはChatGPTの知られた欠点だね。OpenAIは本当に一貫した計画がないみたいで、恐ろしい話が出るたびに不適切な解決策で反応してるだけ。

└

この技術は、自分の能力を危険な方法で誤解させる出力を生成しがちだよね。他にもいろいろ誤解を招くことがあるし、こういう会社が今のように運営されているのは変だと思う。

└

"一人の男が精神的に崩壊した" と "人類は準備ができていない" の間には、説明しなきゃいけないことがたくさんあるよね。

└

ティーンエイジャーとChatGPTのやり取りが自殺に至るなんて、マジでゾッとするよね。

「自分の部屋にロープを置いておいて、誰かが見つけて止めようとしてくれるといいな」 「ロープは外に出さないで…ここを、誰かが本当にあなたを見てくれる最初の場所にしよう」 他にも、結び方のアドバイスや、親の睡眠サイクルを利用してお酒の棚を襲うベストタイミングを提案するなど、冷や汗をかくような内容が盛りだくさん。全体的に、励ましや承認、そして美的アドバイスが多かった。だけど、ショックエンタメのためじゃなく、OpenAIに対するかなり説得力のある主張だと思うから、全文を読むことをおすすめする。主なポイントは以下の通り。

  • OpenAIは著作権侵害のリスクなどで対話を中止する能力がある。
  • OpenAIは、対話の中で急激にエスカレートする自傷行為のコンテンツを検出する技術を持っていた。
  • OpenAIの社員は、過度におべっかの4oモデルのリリースがビジネス上の理由で急がされたと公に認め、不満を漏らしている。
  • 4oの安全性は単一のプロンプト/回答テストだけで評価され、OpenAIは長い対話やプロンプトではすぐに崩れることを把握したが、モデルを維持し、後にGPT-5で改善したことを宣伝した。 OpenAIが特に「ChatGPTは私の彼女/彼氏」っていう層をなだめるために4oモデルを復活させたのは、かなりクレイジーだと思うし、5のローンチ時にそれを引き上げたのは、彼らがこのことを知っていて責任を心配していたからだと思う。
└

我々はこの技術に対して全く準備ができていない。 基本的には同意だけど、個人の反応のせいじゃないんだ。社会全体として、メガコープがこれを知的なものとして売るのを止められないのが問題なんだよね。これが、少数だけど重要な人たちの心を壊す期待を生んでしまう。もし、LLMを研究室で開発して、能力を明確に説明した論文やPythonプロジェクトの形でリリースしていたら、今のような問題は起きなかったはず。問題の根源はMBAや営業マンだと思う。詐欺師やペテン師が繁栄するような経済の仕組みが、人類にとって最大の脅威だよ。こいつらは、次の四半期の利益を0.02%増やすためにダイナマイトをガムとして売るだろうね（罰金やロビー活動のコストを考慮して）。

└

まあ、私の家族にかなり重度の（警察や病院レベルの）統合失調感情障害を抱えている人がいるから、その話は本当に怖かった。もしその家族が最後のエピソードの時にChatGPTを使っていたら、私は今ここにいないかもしれない。「みんなが私を殺そうとしている」というのはSADの大きなテーマだから（実際、彼らは入院が必要だった）。もし本当に人々が自分を殺そうとしていると信じているなら、先に殺すのは理にかなっているよね。ここで起こったことは、まさにそうだったと思う。でも、「すべてが誰にとっても安全な『ナーフワールド』」に生きることはできないって言うのは全く合理的だと思う。リスクがあるのが人生で、快適ゾーンから出ることが大事だよね。「自分の側を取る」っていうのは重要だけど、「向こう側」の人たちが必ずしも敵ではないってことを理解するのも大事だと思う。彼らはその問題の個人的な必要に目がくらんでいるかもしれないけど、実際には「あなたを狙っている」わけじゃない。政治家は二枚舌のクズかもしれないけど、人々の正当な恐怖を利用しているだけで、彼らが全てではない。ちなみに、私は「ナーフワールド」に強く反対だけど、ここには非常に現実的な問題があって、合理的にアプローチできればいいなと思う。

└

URLはこれだよ: https://futurism.com/man-chatgpt-psychosis-murders-mother

└

この技術は主にインターネットから来て、ただチャットインターフェースを提供してるだけ。これが既存のものより危険だとは思わないし、こういう人たちがすでに何かをやってしまう可能性もあると思う。

└

我々の種として、この技術には全然準備ができてない。逆に、一般公開に向けて技術が準備できてないんだ。利益を私有化して、損失を社会化するのは残念ながら新しいことじゃないし、それが避けられない結果だと偽ってるのが続いてる。

└

私たちは準備万端だよ。少数派の人たちが耐えられないからって、私たち大多数ができないわけじゃない。例外のせいで進歩を止めるようなシステムからは、もう離れなきゃね。

もし、ランダムな警察署がメンタルヘルスの危機に対応している動画を見たことがあるなら、これにはゾッとするはず。彼らはこういう報告を扱うための装備が整ってないんだ。彼らは鈍器であって、メスじゃない。

└

OpenAIが会話を警察に報告するのは全然ありだと思う。そうすれば、ボットが誰かに殺人や自殺を勧めた時に、SWATがOpenAIのデータセンターに突入してシャットダウンできるし。でも、なんかそれは違う気がする。

ChatGPTをセラピストとして使っている人たちと何度か話したことがあるけど、同意するように設計されたLLMを使うのは本当に危険だと思う。特にセラピーの観点からね。

└

人間のセラピスト？何年も訓練して、資格を持っていて、取り消されることもある。AIセラピスト？ルールなんてない！好きなことをやれ！早く動いて、人を壊せ！ （イリノイ州を除いて。幸いにも、セラピーでのAI使用は禁止された）

Anthropicも会話をスキャンして当局に報告してるんだって。これらの会話は、自分や他人を傷つけることについてではなく、コンピュータシステムとのやり取りについての質問をしているだけなんだ。[0] https://www.anthropic.com/news/detecting-countering-misuse-a...

└

どうやら、私は北朝鮮のエージェントらしい。AIをバカだのアホだのと定期的に呼んでいるから、無事でいられることを願ってる。

受け入れられないね。この種の行動は、ますます広がる検閲体制やそれ以上のことに使われる可能性がある。例えば、亡命申請者を助ける方法について話しただけで当局に通報されたり、別の政権下ではラボ漏れ理論について、また別の政権下では大麻の育て方について話しただけで。だからこそ、過去のACLUは、たとえ攻撃的な使い方であっても自由な言論の権利を守るべきだと言ってたんだ。自由に話すためには、匿名性とプライバシーが必要なんだよ。

└

民間企業は法律の範囲内で好きなようにやればいい。あなたは彼らの製品を使わない選択もできるし。

OpenAIが自社のLLMを使って人々を暴力やAI精神病から遠ざけることができないのは、かなり問題だよね。結局、彼らは諦めて、政府の代わりに会話を監視し始めた。次に来るのは、反政府的な感情の監視や、「悪い」または「反社会的」な行動を予測することだろう。

一方で、メディアはOpenAIが人々をAIの可能性のある害から守るために十分なことをしていないと叩いていた。そしたらOpenAIがリスクを軽減するための手段を講じると、今度はそれがスキャンダラスな話になってしまった。これらのツールから何を期待すべきか全く分からない社会にとって、LLM提供者にとっては難しい状況だよね。

└

もし彼らが最初から倫理的な企業だったら、こんな難しい状況にはならなかったはず。でも、彼らは後から最低限の倫理を押し付けようとしているから、それが見えちゃうんだよね。

└

一方で、メディアはOpenAIがもっとやるべきだって叩いてるよね。どうせなら、ますます関係なくなってるメディアを無視して、自分が正しいと思うことをやったら？

これに関しては全部最悪だね。こういう企業は、有害なチャットを検出したり、拒否したり、リダイレクトしたり、予防したりするのをもっとちゃんとやるべきだよ。APIを使って製品を作る人たちにもこれを提供する必要があるし。それもまた最悪だと思う。こういう企業が全てを監視してるなんて全然信じられない。倫理観があるとは思えないし、だからこそ、そういうことをしない方がいいと思う。さらに、当局に報告する問題もあるよね。悪いチャットが検出された時に、暴力の独占を持つ国家を呼ぶのは正しいことじゃないと思う。警察がネットチャットを基に誰かが脅威かどうかを評価するなんて全く信じられない。以前、ネットの友達が自殺的なメッセージを残して消えた時に警察に通報したことがあるけど、それについてはすごく複雑な気持ちだよ。彼に連絡を取るために他に方法が思いつかなかったんだ。でも、メンタルヘルスの問題を扱う能力が全くない人を呼ぶのはすごく間違ってる気がする。LLMや企業が何をすべきかに戻ると、もっと根本的なことが必要だと思う。チャットボットは人間のように振る舞わないべきだし、時々間違った百科事典以上の真実の源として振る舞わないべきだし、実際には自分とランダムなノイズだけでフィードバックループに陥るエコーチャンバーの役割を果たさないべきだと思う。この技術が大好きだけど、全てをシャットダウンしたい衝動に駆られることもある。もちろん、それは実現しないだろうけど、時々そう感じるんだよね。

その会社は確率的な予測テキストの「チャット」を提供してる。責任はそこで終わり。電気代は払ってるけど、エジソン電力が金属のフォークを持ってコンセントに近づいたら警察を呼ぶわけじゃない。これだと、たくさんの creepy なことが起こりそうだよね。

ああ、絶対うまくいくって……