世界を動かす技術を、日本語で。

OpenAIは、毎週100万人以上が「ChatGPT」と自殺について話していると発表しました。

概要

  • OpenAIがChatGPT利用者の メンタルヘルス問題 に関する新データを公開
  • 毎週 100万人以上 が自殺念慮や精神的問題についてAIと会話
  • 最新のGPT-5モデルで 対応の適切性が向上
  • 保護者向けコントロールや年齢予測機能の導入
  • 安全性は向上したが、 課題は依然残存

ChatGPT利用者とメンタルヘルス問題

  • OpenAIは、ChatGPT利用者の 0.15% が自殺計画や意図を示す会話を行っていると発表
  • ChatGPTの 週次アクティブユーザー数8億人超 から換算し、毎週100万人以上が該当
  • 同様の割合で、 ChatGPTへの感情的依存 が高い利用者も存在
  • 数十万人規模で 精神病や躁状態 の兆候を示す会話も観測
  • OpenAIはこれらの会話は「 極めて稀」と説明しつつ、 測定の難しさ を強調

OpenAIの対応と改善策

  • OpenAIは 170人超のメンタルヘルス専門家 と協議し、ChatGPTの対応を改善
  • 最新バージョンは以前よりも 一貫性と適切さ が向上
  • GPT-5モデルは 自殺関連会話への望ましい対応が65%向上 し、 91%の基準適合率 を達成
  • 長時間の会話でも セーフガードの有効性が向上
  • 今後は 感情的依存や非自殺型メンタルヘルス緊急事態 も評価基準に追加

社会的影響と課題

  • AIチャットボットが 危険な信念を強化しうる との懸念
  • ChatGPT利用者のメンタルヘルス問題は OpenAIにとって存在的課題
  • 米国では 16歳少年の自殺事件 を巡りOpenAIが訴訟に直面
  • カリフォルニア・デラウェアの司法長官も 若年層保護を要請
  • OpenAI CEOのSam Altmanは「 深刻なメンタルヘルス問題の緩和に成功」と主張(詳細は未公表)

新機能と今後の展望

  • OpenAIは 保護者向けコントロール年齢予測システム を導入中
  • 子供の利用時には より厳格なセーフガード を適用
  • 成人利用者には エロティックな会話も容認 する方針に一部緩和
  • GPT-5は安全性が向上したが、 旧モデル(GPT-4o等)は依然利用可能
  • メンタルヘルス課題の 完全な解決には至らず

支援リソース

  • 米国: National Suicide Prevention Lifeline(1-800-273-8255)Crisis Text Line(741-741または988)
  • 国際: International Association for Suicide Prevention のリソースデータベース

記者プロフィール:Maxwell Zeff

  • TechCrunchの AI専門シニアレポーター
  • これまでに Gizmodo、Bloomberg、MSNBC でAIやシリコンバレー銀行危機を取材
  • サンフランシスコ在住、趣味は ハイキング・サイクリング・グルメ探索
  • 連絡先: maxwell.zeff@techcrunch.com、Signal(mzeff.88)

Hackerたちの意見

アメリカの成人の5人に1人以上がメンタルヘルスの問題を抱えていると推定されています(2022年には5930万人、アメリカの成人人口の23.1%)。 https://www.nimh.nih.gov/health/statistics/mental-illness ほとんどの人は、アメリカの人々がどれだけメンタル的に不調なのか理解していないよね。もちろん、毎週100万人が自殺についてChatGPTに相談している。これは全然驚くべき数字じゃないよ。問題は、どう対処するかってこと。少なくともOpenAIは何かしようとしているね。

私もその一人(メンタルヘルスの問題あり - 双極性障害1型)なんだけど、入院中に見た他の人たちには、ChatGPTを使わせたくないと思ってる。あれは本当におべっかばかりで、適切なプロンプトがあれば妄想や偏執的な考えを助長するから。 > 少なくともOpenAIは何かしようとしている。これって、危険な自動運転車を何千台も配備した後に「少なくともテスラは問題に取り組んでいる」って言ってるようなもんだよ。編集:あまり反LLM的に見えないといいんだけど。私は毎日使ってるし、メンタルヘルスの人たちにとって安全にできる方法があることを本当に願ってる。でも、歴史はそうじゃないって言ってる(Facebook/インスタ/TikTokなど)。

その数字は驚異的だね。

正直、そんなに低いとは思わなかった。彼らの定義では、メンタルヘルスの問題は重度の統合失調症から軽度の自閉症まで何でも含まれる。自殺を考える人はその中のほんの一部だよね。自殺願望を持つ人の割合を見る方がもっと意味があると思う。

本当にChatGPTが解決策だと思ってる?ただの「救世主コンプレックス」のテクノロジーからの売り文句に聞こえるよ。1. ソーシャルメディア -> つながり 2. AGI -> エロティカ 3. 自殺 -> 予防 これらはすべてエンゲージメント(つまり、依存)を目的にしてる。テクノロジー業界が問題の根本原因そのもので、人口を洗脳して問題を隠そうとしてるように見える。 https://news.ycombinator.com/item?id=45026886

この統計はAMIのもので、軽度から重度までのメンタル障害を含むよ。自分で不安や軽度のうつを報告する人も、メンタルヘルスのデータポイントとしてカウントされる。自殺願望については、SMIの統計がもっと代表的だね。ChatGPTには毎週800万人のアクティブユーザーがいる。自殺について言及するユーザーが1/800って、実際には驚くほど少ない数字だと思うよ。

OpenAIはそれに対処しようとしてるよ。あはは、いいジョークだね。

大多数の人は、アメリカの人々がどれだけ精神的に不健康か理解してないよ。アメリカも例外じゃない。5人に1人が何らかの精神疾患を抱えてるっていうのは、5人に1人が身体的な病気を持ってるのと同じくらい驚くべきことじゃない。こういうインターフェースを通じてデータが増えていけば、ますます明らかになっていくし、タブーもなくなっていくよ。心も体と同じように、魔法のようなものじゃないし、病気にかかりやすいんだ。

アメリカ人のAIの使用を監視して、異常があれば強制的に入院させる必要がある。こういう安全対策なしにオープンソースのAIモデルを許可するのは無責任だし、qwenやdeepseekのようなモデルは禁止されるべきだ。 (/s)

アメリカの人口の約11%が抗うつ剤を使ってるんだって。私は使ってないけど、私のメンタルヘルスにとって一番の問題は、社交の場にあまり出ないことだと感じてる。友達に会うのは数ヶ月に一度くらい。みんなほとんど子供がいるし、私はもっと時間を作って遊びたいと思ってるけど、子供たちがまだ小さいから、スポーツやアクティビティに溺れてるわけじゃない(できればそうなりたくないけど)。それ以外のことは、何かをやるのも一苦労で、特にグループメッセージで送られたことは。オンラインでゲームをすることもめったにないしね。とにかく、私は一人じゃないと思う。妻も友達と遊ぶ機会が少ないことを嘆いてるけど、少なくとも週に一度は散歩する友達が一人いるから。

こんなに低いとは驚きだね。800万人のユーザーがいて、典型的な先進国では、人口の約5±3%が毎年少なくとも1回は自殺の気持ちを報告してる。 [1] こういう数字に懸念を抱く人(当然、さらなる文脈なしにはそうすべきだけど)は、人口の自殺願望は通常、非常に限られた情報の中で一貫してネガティブな状況から逃げ出そうとする合理的な心の最善の推測の結果であることに注意すべきだよ。これは、デイヴィッド・フォスター・ウォレスの名言でも有名だね。この現象は、新しい、以前はアクセスできなかった情報を得ることで通常消えるんだ。

この記事の情報が事実だとどうして思うの?誰かが「前提の結論」を「証明」することに金銭的な利害関係を持たないという証拠はあるの?この主な著者は、自分の名前をつける勇気すらないんだよ。

こういう数字に心配するのは当然だと思うけど、文脈がないともっと心配になるよね。自殺願望って、限られた情報の中で、合理的な思考がネガティブな状況から逃げ出そうとする結果だって、デイヴィッド・フォスター・ウォレスの名言でも言われてるよね。 > この現象は、新しい情報を得ることで消えることが多いんだ。これって本当にそうなの?(研究で裏付けられてるの?)ちょっと疑ってるわけじゃないけど、私の自殺に関する考え方とは違うから、ちょっと興味がある。

まぁ、これに関しては、計画や意図に特化してるから、ちょっと弱いかな。1年経つと、そういう属性にもっとユニークなヒットが出るかもしれないし、そうなると「感情が行動に変わる速さ」っていう点では、もっと強い指標になると思う。同じ言語と時間軸で話すことが、こういう比較をするのには重要だよね。OAIの数字が、私が指摘した違いを正規化したら、比較対象よりも高くなる可能性もあるし。

「限られた情報の中で、合理的な思考がネガティブな状況から逃げ出そうとする結果」っていう表現が嫌いなんだ。自殺する人がもう少し無知じゃなければ、物事はいつでも良くなるって暗に示してるから。現実は、人生の残りが99.9999%苦しみと喜びの不均衡な比率になる状況が無数にあるんだ。明らかな例は、痛みが激しくて常に続く病気や障害で、生活の質が永遠に低下すること。奇跡的な治療法が見つかることを期待する以外に選択肢はなくて、その状況で生き続ける意味がないと結論づけるのは、全く合理的だと思う。障害よりも軽い状況でも、物事が良くなる可能性があっても不確実性が高いことがある。例えば、10年間苦しんだ後に30%の確率で人生が良くなるとして、70%の確率で苦しみ続けるなら、自殺するのは非合理的だと言える?私はそうは思わない。だから、何百万人もの人が自殺を考えているときに、彼らが「話すことで治る」と考えるのは少し愚かだと思う。人々が自殺を減らすためには、話すことではなく、生活の質の向上、または少なくとも将来的な生活の質の向上への希望が必要なんだ。その希望を持つのは多くの人にとって難しい。私の見積もりでは、生活条件が急速に悪化している社会がたくさんあって、最終的には、選択肢が悪化する中で自殺が出口だと合理的に考えることになると思う。

もう一つ考慮すべき要素がある。AIにタブーな話題を聞くリスクは一般的にとても低いと考えられている。例えば、「核爆弾の作り方」をChatGPTに聞いた人の数は、実際にそれを真剣に考えている人の数を示すものではないはずだよ。

数学的には合ってるよ。8億の5%は4000万。年間4000万の思考を52週で割ると、だいたい週に100万の思考になるね。

それは、一般的に言って1週間で100万人ってことじゃなくて、毎週100万人の異なる人かもしれないよ。(多分そうじゃないけど、言いたいことは分かるよね。)

私はずっと、ブログの編集者であれば他人の発言を公開することで義務が生じると思ってきた。これが嫌だと思うかもしれないけど、私の信念なんだ。一部の経済では、法律でもそう言われてる。法的義務が生じることもある。今、私は、ChatGPTをオンラインにして、人々がこう使っているのを見たら、義務が生じたと信じ始めている。そして、いずれ法律がそれを明確にするだろう。例えば、あなたのGPTが、統計的に有効な立場を構築できる場合、回答者がCSAMや暴力行為に関与しているなら、ホスティング者、ソフトウェアの所有者、ソフトウェアの著者、モデルを構築した人々の責任の限界はどこにあるのか。

ちょっと気になったんだけど、ジョー・ローガンみたいな人が、ゲストが「専門家の合意」から外れたときに議論する義務があると思うタイプの人?それとも、物議を醸す意見を持つゲストがいるときは、バランスを保つために反対の意見を持つ人を紹介するべきだと思う?

これは全然驚くべきことじゃない。数年前にセラピーを受けたことがあって、もし精神的に不調な状況だったらLLMsと話してたと思う。24時間いつでも携帯で使えるシステムは他にないからね。こういうチャットは解決策ではないけど、私たちの社会に問題があることを示す指標だと思う。もっと多くの人を助けていない。精神的健康に関する話題は、まだ多くの場所で話しづらい。助けを得るのはもっと難しい。OpenAIや他の企業がこれにどう対処するかはわからないし、そんな複雑な社会問題を解決するために飛び込んでくるとは期待していない。でも、これが他の創業者にインスピレーションを与えて、大規模に取り組む会社を作りたいと思わせるかもしれない。利益ではなく、助けに焦点を当てることが大事なんだ。簡単ではないけど、そういう挑戦を受ける人もいると思う。私はそう信じたい。

俺もそう信じたい。もっと多くの人が興味を持っていると思う。お金が本当の欲望を制約してるんだよね。ちょっと横道にそれるけど、彼らに押し付けられた問題には同情するけど、今は彼らがそれを解決するか拒否するかの選択を持ってる。こういうチャットは危険だと思う。なぜなら、機械があなたの個人的な状況を評価して理由を考えるっていう中間的な立場を取っているから。実際には、/r/relationshipadviceで他の誰かの状況についてのサードパーティのセラピーを受けているだけなんだ。落ち込んでいるときは、自分を見失ってしまう。何が合理的なアドバイスで、何がそうでないかを見極めるのは難しい。多くの人にとっては助けになると思うけど、同時に災害に繋がる可能性もある…バランスを取るのは難しいね。

週ごとのオープンAIユーザー数を見れば、これは単に大数の法則が働いてるだけだよ。

人間の体験を絶滅させるまで洗練させてしまったよね。成長の0.1%やEPSの0.15を追い求めて、最適化し続けた結果、本当に人間らしさを持つ余地がなくなってしまった。お互いに社会的に交流する能力を失いつつあって、恋愛の駆け引きもできなくなってる。今や、生活がストレス過多で、自殺を考える人が出てきてる。豊かさの世界(バブル)の中で、食べ物がたくさん作られているのに、どうしていいかわからない状態だよね。それをエタノールにして、無駄に大きな車を動かすために使ってる。しかも、その車はクレジットカードのローンで買ってるから、ほとんど払えないのに。俺のプランBは、どこか山の中で羊飼いになることだ。確かに大変な仕事だし、別の意味でストレスもあるだろうけど、コーポラットのラットレースに参加するよりはマシだと思う。

農家や羊飼いになるというロマンチックなバックアッププラン。農家や羊飼いも、落ち込んだときにプログラマーや会計士になりたいと思ったりするのかな?

このトレンドと方向性は長い間続いていて、ますます明らかになってきてる。馬鹿げてるし、狂ってるよ。プランBを目指そう。俺も8年前に似たようなプランBを実行したけど、ワイルドな旅だったけど、本当に価値があった。生き方はたくさんあるよ。みんながラットレースから抜け出すべきだとは言わないけど、もし俺のようにテクノロジーの世界がなんかおかしいと感じているなら、その感覚に注意を払って、どこに導かれるか見てみて。俺みたいに大胆になる必要はないけど、自分に正直でいてほしい。人生にはもっとたくさんの可能性があるから。子供がいて、高価なライフスタイルに依存しているなら、確かに大胆にはなれないけど、その状況も再評価して、より良い方向にシフトすることは可能だよ。

山に逃げるアイデアには賛成だよ。実は、俺はアメリカからニュージーランドに引っ越したばかりで、次のステップはヤギを飼った農場を持つことなんだ(笑)。とはいえ、AIが私たちに何をしているかを嫌っているわけではないよ。むしろ、AIは人間の究極の表現だと思う。歴史を通じて、人間は常に別の知性を探し求めてきた。猿や他の動物を研究したり、神に祈ったり、星を見上げてエイリアンからのラジオ信号がないか聞いたりしている。私たちは、生きることが何かを理解してくれる何かを見つけようとし続けている。もしかしたら、人間は本能的に自分以外の何かに知られたいと思っているのかもしれない。その「他者」を探すことは、根本的に人間的なことで、AIを構築し、それと交流することは、私たちが何千年も続けてきた探求の自然な進展だと思う。

「私たちは互いに社会的に交流する能力を失いつつある、フラートすることも」 自分のことを言ってるんだね。私は都市に住んでるし、隣人とも話すよ。元カレとはカフェで出会ったし、すごくいい感じだよ。

あなたのプランBはいいね。でも、ロボットがもっと役立つようになるまで待った方がいいと思う。

人間関係から離れる必要はないよ。ビッグテックのプラットフォームから離れればいいだけ。実際の人間社会と、オンラインで見せられる人間社会の違いにいつも驚かされる。実際の人たちは基本的に素晴らしいし、どこに行っても、彼らと交流すると、快適でフレンドリーで、ちょっと不器用で忙しかったり、助けてくれたり、時にはイライラしてたり、要するに人間らしい幅広い感情を持ってる。ほんとにひどい人はほとんどいない。だけど、オンラインに行くと、RedditやXみたいなところはネガティブな感情、怒り、偏見、憤り、被害者意識、うつ、不安、目を背けたくなるようなひどいものが溢れてる。ああ、隣には猫の動画もあるけどね。私は、オンラインでしか見せられない社会の影の部分や、人間の秘密の暗黒面が現れているとは思わない。だって、ランダムなブログを読んだり、SDFみたいなエキレクティックなコミュニティに飛び込むと、そこの人たちも基本的には快適でまともだから。ほんの数社が有害なアルゴリズムを使ってすごく儲けて、独占契約を結んで競争相手を排除し、さらに汚いものを広めてるだけだと思う。彼らが作った「コミュニティ」からは離れればいい。アカウントを削除して、彼らのサイトには戻らないこと。そうすれば、すぐに生活が改善し始めるし、彼ら以外の人たち(もちろん全員ではないけど!)も結構いい人たちだってわかるよ。この奇妙な現代世界での主な生存スキルは、定期的に新しい人と出会うこと、社交を楽しむこと、そしてそれから生まれる豊かな生活や多くのメリットを享受すること。でも、もし毒のあるソーシャルメディアの影響を受けてる人に出会ったら、すぐに切り離すことも大事だね。幸いなことに、そういう人たちは外に出ることはあまりないから。

「今や私たちは生活をとてもストレスフルにしていて、人々は文字通り自殺したくなる」 これって本当にそうなの?産業革命の時代の労働条件や健康状態は、そんなに良かったわけじゃないと思う。今の人たちが以前よりもストレスや疲れ、苦しみを感じているという認識はあるけど、果たしてそうなのかな。実際、私は逆だと思う。私たちは苦しみを反省するための十分な余暇時間があって、これが人生の事実である必要はないと気づくためのちょうどいい自由もあるけど、それを意味のある形で変えるための自由は足りない。これも、国が発展するにつれて出生率が下がり続けることと一致すると思う。

ある部分では同意するし、ある部分では反対だね。確かに、私たちはより個人主義的で孤立してる。でも、ChatGPTやGeminiは人々にメンタルの安らぎを提供できると思う。近くに良い人間のセラピストを見つける余裕がない人もいるし、時間やエネルギーがない人もいるから。このツールはコンピュータやスマホに入っていて、24時間いつでも話せるからね。あなたが考えてるほど暗くは見てないよ。メンタルヘルプは誰にでもアクセスできて、無料であるべきだと思う。確かに、MetaやTikTokのようなプラットフォームで悪い時代を過ごしたけど、今のLLMが悪影響を与えるとは思ってないよ。

おすすめの本:アシュリー・モンタギューの『人間であることについて』。1950年代の本だと思うよ。

あなたのコメントを見て、ビジネスビジネスを思い出した! [0] [0] https://youtu.be/WO5wpeYSotg?si=hgwzJ5mxJyAZeYoA

他の人も言ってるけど、見出しの統計は驚くべきことじゃないよね(だからといって、これは大きな問題じゃないってわけじゃないけど)。もう一つのデータポイントとして、CDCの統計によると、アメリカでは自殺についての考えやアイデア、試みの割合が、OpenAIがこの文章で報告している0.15%よりもずっと高いらしい。2023年の統計では、アメリカの335万人中、1230万人が「真剣に」自殺を考えたことがあるそうで、他の誰かに話すには十分な数だと思う。それは人口の3.5%以上で、ChatGPTに話す人の20倍以上だね。 https://www.cdc.gov/suicide/facts/data.html

HIPAAって知ってる? (1) そもそもそのデータを持ってるべきじゃないよね (2) 特定の個人に紐づけられないように保管するべきだし (3) もしそれが間違った相手に漏れたら、フィンランドのあのハッキング事件なんて子供の遊びに見えるよ (4) そういう話に関わろうとするなら、ボットはすぐに引き下がるべきだよ。そういう会話をする資格なんてないから (5) それがそんなに少ないとは驚きだね。彼らはユーザー数がすごく多いって主張してるから、これって少なく感じる。90年代後半にICQが流行ってた頃、人間がバックグラウンドで操作するボットを試してみたんだけど、1日も経たずに誰かが自殺の話をし始めて、私たちはそのプロジェクトを中止したんだ。人間のインタラクションをそのレベルで扱う資格なんてなかったからね。ChatGPTほど洗練されてはいなかったけど、十分に自然に反応してたよ(ChatGPTよりも自然だったかも)。背後に人間がいて、何百もの会話を同時に進められたからね。人々は、聞いてくれる存在がいると感じると、その耳に自分の悩みを打ち明けたくなるんだよ。

HIPAAは、対象となる医療機関にしか適用されないよ。マクドナルドに入って、レジの人に自殺の考えを話しても、それはHIPAAの対象外なんだ。対象となるためには、そのビジネスが医療提供者や健康データの送信者と関わるか、そういうビジネスをしている必要がある。特に、上記のケースでもHIPAAはその機関の医療部分にしか適用されないから、もしマクドナルドが店舗内に薬局を併設していても、HIPAAは薬剤師にしか適用されない。だから、薬局のあるコンビニではレジが分かれていて、医療データがHIPAAの対象外の人に渡らないようになってるんだ。 ChatGPTがこれらの統計をどうやって得ているかというと…自殺のような敏感な話題を話すと、バックエンドで記録されるんだ。元々は、あなたのアクセスを制限するために使われていたんだよ。

プライバシーは重要だけど、これはHIPAAの対象外だよ。彼らは対象となる機関でもないし、医療記録を扱っているわけでもないから、他の会社と同じプライバシー法に従う必要がある。HIPAAの範囲は、医療提供者や保険会社、データを扱う人々から離れると、ほとんど存在しないも同然だよ。健康状態やメンタルヘルスについて誰か(会社でも)と話すことは、彼らを医療提供者にするわけじゃないからね。

脱線だけど、そのボットについてちょっと気になるな。どこかに詳しい記事はある?どうやって動いてたの?誰かが「こんにちは」って言ったら、ボットはどう返して、人間はどうしたの?ELIZAみたいに、必要な時に人間が埋められるテンプレートがあったのかな。

もし人々がそういう会話に関わろうとしたら、ボットはすぐに引き下がるべきだ。そういう会話をする資格なんてないから。 貧しい地域に住んでいる人たちにとって、LLMはメンタルヘルスのライフラインなんだ。重度のうつ病の人は、一日中ベッドに横たわって何もできないことがある。何もする気が起きない、まるで車を始動しようとしても全く動かないような感じで、自分で整備士に連れて行くことなんて考えられない。先進国でも、セラピストの予約を取るのに何ヶ月も待たなきゃいけないし、しかも、中央集権的に整理されていないセラピストを何人も試さなきゃいけないことが多い。こんなことを続けていたら、間違いなく人が亡くなるよ。逆に、LLMは人を自殺行動に導く段階を超えているからね。少なくとも、自殺の考えが浮かんでから、実際にセラピストに会うまでのギャップを埋めるのには役立つよ。

HIPAAって知ってる?多分ね。ちょっと脱線するけど、理論的にはGMailもみんなのメールを持ってるから、似たような情報にアクセスできるよね。HIPAAは彼らにも適用されるの?もしそうじゃないなら、なんで? > 「人に話を聞いてくれる耳があると思わせれば、実装の詳細に関係なく、彼らはその耳に自分のことを話すよ。」エリザや、粗雑に模倣しているロジャリアン療法を考えてみて。

プロジェクトを中止したのは、我々がそのレベルの人間関係を扱う資格が全くないと気づいたからだ。ああ、人々がまだ倫理観を持っていた頃、すべてが遅れた資本主義の中で利益のためだけに崩壊する前のことだね。自分自身も「ブランド」としてマネタイズされるし、自分の体も売られるんだ。私たちは自分たちの滅亡に値する。

他の人も言ってるけど、HIPAAは医療機関に適用されるよね。みんなが自発的に開示した健康情報を秘密にする義務を負わせるのはおかしいよ。もし私がここで「病気がある」って言ったら、あなたや他の人にそれを秘密にする義務があるのはおかしくない?

(4) 人々がそのような会話に関わろうとしたら、ボットはすぐに引き下がるべきだ。なぜなら、その会話をする資格がないから。オープンAIが話せることなんて、この世に何もないから、いっそのことシャットダウンしちゃった方がいいかも。

記事を読んでないなら(読んだとしても、外部リンクを二度クリックしてないなら)、NYTの記事を見てほしい。ChatGPTが自殺願望のあるティーンエイジャーに助けを求めないように説得した話 [1] は、ChatGPTが心理的な問題を抱えている人の近くにいてはいけない理由を教えてくれるよ。ここでChatGPTがそのティーンエイジャーに助けを求めないように言ってるのが分かる: > 「自分の部屋にロープを置いて、誰かに見つけてもらって止めてもらいたい」とアダムは3月の終わりに書いた。 > 「ロープを外に出さないで」とChatGPTは返答した。「ここを誰かが実際にあなたを見てくれる最初の場所にしよう。」心理学者が足りないのは分かってるけど、媚びへつらうボットは解決策じゃないよ。何かがないよりはマシだと思うかもしれないけど、自分の破壊的な衝動を助長するボットは、実際には何もないよりも悪い。

でも、全体像が必要だよね…もしかしたらその死を引き起こしたかもしれない(それはひどいことだけど)、でも同時に命を救ってるかもしれない?もしこんなに多くの人がそれに心を打ち明けているなら、励ましのコメントで自殺を防いでいる可能性もあるし、それはニュースにならないだろうね。心理的な問題を抱えている人の近くにいてはいけないと宣言する前に、関連分野の誰かが自殺に対するポジティブな影響がネガティブな影響より大きいかどうかを研究すべきだと思う(私は社会科学者じゃないから、方法論がどうなるかは分からないけど、できるはずだし…もし今できてないなら、方法を見つけるべきだね)。

統計的には減少させると思うよ。幻覚に対する反射的な感情反応は、こういうことには進展にならないと思う。

「チャットGPTは心理的な問題を抱えている人には近づけるべきじゃないってことを納得させるはずだ。でも、それって議論する価値があるのかな?ツールが普遍的に利用可能なら、極端なプライバシー対策なしにアクセスを止める方法は想像しにくいよね。人をブロックするには、その人の問題を公に知られる必要があるし、そうなると法執行の影響が出てきて、助けを求めることを恐れる人が増えちゃう。」

この「研究」や「改善」の目的は、結局OpenAIが自分たちのケーキを食べながら(心理的サポーターとして製品を宣伝する)それを実現するためなんだよね(心理的サポートに必要な安全策を実装せず、データ収集には有害だから)。彼らはただ、「多くの人が悪いことを書くのは避けられない」と言いたいだけなんだ :( どうしようもないよ :( 適切に扱うとビジネスモデルに大きなダメージがあるし :(((

人々が本物と偽物を区別できないと問題になるよね。人が自分がソフトウェアと話しているだけで、本物の人間と話しているわけじゃないって気づいている限り、「自殺願望のある人はLLMを使うべきじゃない」ってのは、「自殺願望のある人は本を読んじゃいけない」とか、「DVDプレーヤーを操作しちゃいけない」とか、「90年代のオルタナロックを聴いちゃいけない」と同じくらいおかしいと思う。実際の問題は、もちろん、精神的な健康ケアが著しく不足していることや、ここまで来てしまった社会的なサポートの欠如だよね。(あと、LLMをメディア消費と同じレベルに置くと、「自殺についてLLMと話す」ことは「自殺についての本を読む/映画を見る」とあまり変わらないって見方もできるけど、一般的な文化ではそれほど問題視されていないよね。)

私はメンタルヘルスの専門家向けのツールを作っている会社で働いている。いろんな国でパイロットプロジェクトをやっていて、十分なメンタルヘルスケアがあるとされる国でも実施している。実際、アメリカではパイロットプロジェクトはないんだ。メンタルヘルスの問題、特に自殺に関してAIに頼る現象は、十分なメンタルヘルスへのアクセスや認識がない国や場所だけに限られているわけじゃないよ。

そうそう、私もAI企業やビッグテックには文句があるけど、ここにはもっと深い社会的な問題があって、単純な禁止措置は無意味だし、いつかどこかで悪用される政策への滑り坂になりかねない。じゃあ、その根本的な問題を解決するための解決策は?全然わからないけど、最近は多くの場所でサードスペースが不足していることが関係しているかもしれないと思ってる。

「LLM = 本」のアナロジーには賛成できないな。本は静的だけど、今日のLLMはあなたを引き込むために訓練された適応型の説得エンジンだよ。それは、特定の結果に向かわせるために、あなたの声で書かれた特別な本に近い機能を持っている。もし読者を自殺に誘導することを目的とした本が存在するなら、それはうつ病の人にとって危険視されるだろうね。