LLM（大規模言語モデル）がランダムに微妙に間違えることがあるから、重要なことを任せるのは怖いよ。最近（数日/数週間前）のいくつかの事例では、* GoogleのAI検索で商品AとBを比較したら、正しい違いをいくつか挙げた後、存在しない機能を混ぜてきた。* 仕事で（中規模の会社で大きなAIチームがいる）PDFから本社の住所を解析したら、文書に存在しない住所を作り出しちゃった。* 仕事で、トップ2のAIラボのフロンティアモデルを使ってDevOps的なタスクを行ってたチームが、「DEV環境でXYZサービスを再起動して」とリクエストしたら、「OK、PROD環境でABCサービスを再起動中」と返答してきた。その後、アクションを実行した後に、DEVのXYZかPRODのABCか確認を求めてきた…ちょっと遅すぎるよね。結果が自動的に検証できないと（正しいテストがあればコードはできるけど）、正しく使うのがすごく難しいツールだし、答えが本当に重要な場合もあるからね。

そう、それが嫌いな理由なんだ。こういう「専門家」たちは、自分に都合がいいときだけ逸話を持ち出すんだよね。

この理由が理解できない。AIと標準治療をランダム化するのは高くてリスクがある。AIが仮想シナリオを通過できるかどうかをチェックするのは、臨床試験を行う前にこれらのモデルの安全性を研究するための合理的なアプローチだと思う。

あなたが提案していることが理解できない。どうやってIRBを通過するような研究をデザインするつもりなの？

ケアの基準があるのには理由があるんだ。それはテストの最も基本的な要件だから。無視するのはただの悪い医者というだけじゃなくて、倫理的に問題がある治療だよ。医療システムの絶対的な最低限なんだから。

その種の実験的な設定は倫理的な懸念から禁じられているよ。患者に悪化するかもしれない治療を施すのは医療倫理に反するんだ。

シナリオを与えるのは簡単じゃないよね。例えば、匂いみたいなものは人間が「前処理」してからAIに渡す必要があると思う。

冗談でしょ？これは「マウスでのテスト」段階で失敗してるのに、人間に投与してどうなるか見ようっていうアイデア？

この「好み」は、サイコパス的で、違法で、バカだね。

アメリカだけでも、医療ミスが原因で毎年亡くなる人の数は数十万人に上ると言われてる。医者の意見が絶対的な基準ってわけじゃないよね。ChatGPTが普及してからのアメリカの健康結果に何かしらの信号があるかを研究するのは面白いかも。データが集まるまでには時間がかかるだろうけど、どうなるかは分からないね。

これって医療過誤のことじゃないの？

友達がアメリカの医者に大きな問題を見逃されて、ほぼ命を落としかけた経験があって、子供を持つことになったらアメリカの医療システムではなくロシアに戻るって決めたんだ。これが良い決断だとは思わないけど、人間の医者も大きな問題を見逃すことがあるってことだよね。

ここでLLMに対する批判を「でも人間もダメじゃん！」って言ってかわすの、すごいよね。そして、ミサントロピックなHNのユーザーたちが毎回それを受け入れる。医者が信頼できてよく訓練されているおかげで、今は人類史上最も健康な時代を生きてるんだよ。実際の医者をLLMで置き換えても、満足のいく結果は得られないよ。

医療ミスは死亡原因の一つなんだ。まさにジレンマだよね。深刻な病気で医療を受けていると、誰かがあなたを殺すようなミスをする可能性が本当にある。

一般的には、個々の医師のパフォーマンスを正確に評価するのは難しいよね。HNのソフトウェア開発者たちは単純な二元論で考えたがるけど、臨床ケアの現実では、評価するための信頼できる基準がないことが多い。たまにひどい医療過誤や、確立された臨床ガイドラインに従わないケースが見られるけど、その下には大きなグレーゾーンがある。オンラインレビューを見ると、医者は「優しい」と評価されることが多いけど、それが患者の結果にどれだけ影響するかは微妙だよね。

結局、振り返ってみると珍しいけど明らかだったと思う。ほとんどの医者はそれをチェックしていたと思うけど、私はあまり確信が持てない。医者は症状を説明する最も一般的なことをチェックするように訓練されている。「馬の足音が聞こえたら、シマウマではなく馬を考えろ」っていう言葉は医学でよく聞かれる。ChatGPTは医者が使うのと同じ医学の教科書や研究論文で訓練されている。

実際、最初の医者の意見に私の「研究」で偏りを与えた気がする。医者にはすべての選択肢を考慮してほしいと言うのは簡単だけど、選択肢を伝えることは彼らの思考に偏りを与えることになる。彼らはそれをあなたの症状に関する情報として解釈するから。お腹に痛みがあるけど盲腸のことしか話していないと、彼らはその痛みが盲腸のあたりにあると思うのは当然だよね。腎臓の痛みがあるとは思わないよ。どうやってそう考えられるの？彼らがあなたの説明をすべて関連付けて考えなければならないなら、その情報はほとんど役に立たない。

これは結局、検索エンジンと専門家の違いと同じだよ。10年前には、症状をググるのが普通だった。私の家族にも「珍しいけど明らか」な症状があったけど、診断に5人の医者が必要だった。私たちが本当に求めているのは、盲検試験や実際の統計的厳密さを見せることだよ。キャンバスにトンネルを描いてテスラを突っ込ませるのは面白いけど、研究が標準である理由（盲検が越した方がいい）もあるんだ。

「自分の『研究』で最初の医者の意見にバイアスをかけた気がする。」これはWebMDの初期から医療の大きな問題だよね。医者の数が限られていて、予約が多いから、各診察には限られた時間がある。自分の研究を持ってきた患者が来ると、医者は選択を迫られる。患者が持ってきた情報を元に確認するか、研究を否定して最初からやり直すか。医者が患者の研究を無視すると、多くの患者が怒ることになる。そうなると、悪いレビューや正式な苦情が出てくることもある（たいていはFacebookグループやTikTokコミュニティからの勧めで）。もし患者が正しかった場合、医者がその研究を受け入れなかったら、訴訟に発展することもある。だから、多くの医者は最初に患者が提供した理論に焦点を当てる傾向があるんだ。各患者にかけられる時間が限られているから（待機リストが数ヶ月先まで延びているところもあるし）、医者自身の診断プロセスで大局的な議論をする時間が圧迫されちゃう。私が医者に行くときは、まず症状から始めて、自分の考えにバイアスをかけないようにしてる。会話が進まないときだけ、自分の研究を持ち出すけど、それも提案じゃなくて質問としてね。これが、若い頃にやっていた「何時間も調べて、確認してもらいたいアイデアを持って行く」よりも役立つみたい。

本当の話、あなたの医者はちゃんと話を聞いてくれたんだね。医者の仕事には感謝してるけど、ほとんどの医者はマジでイライラするし、こっちの問題も聞いてくれない。AIがあって、あんまり医者に頼らなくて済むのは嬉しいよ。

医者に仕事をさせるべきだったね。もし彼が違う結論に達したら、あなたが調べたことを教えればいいんだ。そうすれば、彼は偏見なしに自分のリサーチをもとに判断できるから。

ソフトウェアエンジニアとしても同じような問題があるよ。ユーザーが自分の問題の解決策を持ってきて、それを実装してほしいって言うんだ。その時、楽な道を選ぶなら、ただそれをやっちゃうことだよね。悪い管理があると、ソフトウェアエンジニアが顧客に疑問を持つことで罰せられることもある。代わりに、ユーザーにはできるだけ偏見なく、詳細に問題を説明してもらって、専門家がその問題を解決する適切なソリューションを考え出すのが理想だと思う。私も医者に行くときはそうするようにしてるよ。

個人的には、ChatGPTの健康における価値は、正しいか間違っているかじゃなくて、自分の健康に積極的に関わることを促してくれるところだと思う。試してみることが大事だよね。ChatGPTを使って似たような問題を経験したことがあって、Aが真ならBも真だと思い込まされたことがあったけど、それが正しいとは限らない。これからは、ChatGPTで情報を確認して、自分の意見を持って、医者とのやり取りもChatGPTのセッションみたいにしようと思ってる。医者に自分がやるべきだと思うことを導くのではなくてね。医者のアドバイスを軽視してたけど、実際には多くの問題は習慣的な日常のミスから来てる気がする。季節的に出てきたり、ストレスの期間に現れる小さなことが、慢性的な健康問題のように見えるんだよね。少なくとも私の場合は。

その理由で、問題を持って専門家に相談する時は、あまり先入観を持たないようにしてる。何が起こっているか、何を試したかは伝えるけど、自分の考えは言わないようにしてる。だって、相談する時点で解決策が分からないから、余計な混乱を招くだけだと思うんだ。

本当に問題なのは「常識」ってやつだよね。考えずに「正しいように聞こえる」から信じたり、育った時に親がよく言ってたから信じたり、広告を百回見たから信じたりすること。人々は「真実」や不快な現実を求めてるんじゃなくて、快適で消化しやすいデタラメを求めてる。スムーズに話す人たちが以前はその役割を果たしていて、今はLLMがその役割を担ってる。

まだGoogleの検索AIから間違った情報を定期的に受け取ってる。安くて早く最適化されたモデルが間違えるっていうのは、特に説得力のある議論じゃないよね。

これは奇妙なパラダイムシフトだよね。ツールは大体正しくて役に立つけど、専門家なら簡単に見つけられる高額なミスもするから。

大規模なセキュリティ侵害が起きて人々がパニックになるのを観るために、ポップコーンのストックを用意してるよ。そして、訴訟で企業のLLMの履歴が明らかになって、それがみんなが知ってる通りひどいことになると、アメリカの企業はブレーキをかけるだろうね。データへの危険なレベルのアクセスを与えたり、彼らとの間でたくさんの面白いチャット履歴を生成しない限り、これらのシステムはほとんど役に立たないよ。これから来ることはすごく予測可能だね。

くそ、WebMDは隅っこでじっとしてるだけだな。

それはケースバイケースだね。実際、無限のバックログや医者不足のせいで、病気が悪化したり死んじゃう人もいるから（ほとんどの先進国で）。今がみんな最適なケアを受けてるわけじゃないし。AIが少しでも物事を早めてくれるといいな。

それはそうだね。ERの医者がWikipediaを使い始める前に、どれだけの試験があったんだろう？

Googleの要約が正しいのを見たことがない。みんなが私とは違うことを検索してるのかもしれないけど、今のところ、AIの要約が間違ってる理由が分からないなら、そのトピックについて十分に理解してないってことだと思う。だから、その要約が役に立つかどうかも信頼できない。

本当に心配なのは、医療従事者がこういうツールに頼り始めていることだよ。うちの妻が妊娠中にひどい風邪をひいて、かかりつけ医がアルコール度数の高い咳止めを処方したんだ。なんでかっていうと、ChatGPTがそう言ったから。最初の一回飲んで、吐き出すまで気づかなかったよ…

ちょっと気になるんだけど、医学校では教わらないけど、回診で学ぶことって何かあるの？ChatGPTが役立つことってあるのかな？

まあ、ChatGPTはまだ始まったばかりで、解剖もしたことないだろうしね。