アメリカではこれがよく見られるの？ これはインド特有の問題に思える。

それよりひどいよ。弁護士やArs Technicaの話が出てくるのは、結果が公になっていて、ミスがひどいからだ。実際には、みんなに起こっている可能性が高いよ。

もう関係ないよ。LLMは、世界中で私たちが作り上げた腐敗した社会を明らかにしただけだね。

みんながどれだけ彼らに信頼を寄せているかに驚かされるよ。人間のように聞こえて、すごく権威のある自信に満ちたテキストを出力するから、無意識のうちに疑念を覆い隠しちゃうのかな？

重要じゃないよ。ほとんどの時間は正しいように見えるけど、時々微妙で見逃しやすい方法で間違っているプロセスは、基本的に人々をチェックしないように仕向ける機械みたいなもんだから、常に何かが見逃される。自動運転の車と同じで、間違いがあったら飛び込む必要があるけど、人間は運転しているときのように反応できないから、関与していないときはもっと遅くなる。誰も自分で運転していたときのように関与し続けることはできないんだ。LLMからの情報を「ただ」チェックすればいいって言うのはやめよう。それは必然的に人々がチェックしなくなって、何かが見逃されるプロセスに繋がる。みんなが結局そうなってしまうのに、それを人々のせいにするのは馬鹿げてるし、根本的な問題を解決することにはならないよ。

なんでこんなAIがいるの？常に人間にチェックさせないとダメなんて。ジャン＝リュック・ピカードがエンタープライズのコンピュータの出力を常に確認してたと思う？そんなことはなかったよね。もしAIが人間より優れてないなら、何の意味があるの？人間を使った方がマシじゃん。

この話、ほんとにバカバカしいよ。LLMは参考文献の検証を自動化できるんだから。もし誰かが弁護士、会計士、医者、教師、外科医、エンジニアなどで、GPT-5-extra-lowみたいな低品質のモデルを使って答えを吐き出してるなら、即座にクビにして資格を剥奪すべきだよ。今は簡単だけど、未来の問題はもっと深刻だよ。99.999%の未来のコンテンツは生成AIで作られることになる。FacebookやInstagram、TikTokみたいな非連続的でエンゲージメント重視のフィードを使ってる人たちにとって、今日消費してるコンテンツの50%以上は偽物だよ。そういうのが現代文化に広がると、偽コンテンツを出すべきでないところ（例えばニューヨークタイムズやウォールストリートジャーナル）から排除するのは永遠の戦いになるだろうね。未来の価値や利益率は、正しいデータにあるかもしれない。

今週、25%の引用が捏造されていて、残りの50%も間違っている科学論文の引用を追跡したんだ（著者はここにいるかもしれないけど）。ArXivの論文を引用して、（例えば）IJCLRに属するとして引用していた。これは弁護士だけの問題じゃないよ。

だから、LLMがどの職業でも人間を完全に置き換えることはないんだよね。機械に責任を持たせることはできないから。お金が絡むと、私がいろんなサポートチャネルで体験するチャットボットも、結局は人間の介入が必要になるし。真の一般知能があればこれらの問題を解決できるかもしれないけど、LLMはそのレベルにはまだ達してないと思う。確率的なオウムは世界を支配することはないよ。

彼らは危険を知らなかったとは言えないよね。LLMの幻覚については、ずっと話題にされてきたことで、 obscureな失敗モードじゃないから。AIの問題に関するほとんどの記事がこれに触れてるし。だから、裁判官は怠けてたか、無能か、その両方だと思う。

LLMを使って自動化するのは、単に新しい安価なアウトソーシングで、エンターテインメントの面では同じだけど、食中毒や空の旅は少なくなるって感じだね。過去20年で、西側の多くのエンジニアリング（ちゃんとしたエンジニアリング、ソフトウェアじゃなくて）作業が安い場所にアウトソーシングされて、認定エンジニアが他の場所でやった仕事にサインをするだけになってる。これが、ますます早く・安く物事を進めるサイクルを生んで、安く早く進めるプレッシャーの中で安全策が消えていく結果になってる。誰かが指摘したように、LLMは実際には私たちがどれだけ劣化した状態に向かっているかを暴露しただけで、それ自体が原因じゃないんだよね。基準がない人たちには厳しい状況になるだろうし、安いものを楽しんでいる間はいいけど、すぐにそれも消えてしまうと思う。驚いたピカチュウの顔がみんなに広がるよ。（ちなみに、私はAI推進派だけど、責任を持って使ってほしい。）

ツールを責める言い訳 結局、人を責めることはあまり解決にはならないよね。本当に特異なケースでない限り。でも、もしこれが一度起こったなら、また起こる可能性が高いし、これは法律におけるLLMの幻覚の最初のケースじゃないから。特定の事例で誰かを指摘するのは簡単だけど、何度も繰り返されるのを見ると、何かを防ぎたいならツールを調整する必要があると思う。たとえそのツールを使っている人が毎回間違っていたとしても。

意図性は、普通、コモンローの国では考慮されるべきだよね。だからといって、彼女が何も悪いことをしていないわけじゃないけど、明らかに意図的に何かをするのは、うっかりや無謀にやるよりももっと深刻だよ。

法律を知らないことは、法律を破る理由にはならないよね。そういえば… https://metro.co.uk/2016/07/03/rapist-struck-again-after-dep... > 強制送還が覆されたソマリア人の強姦犯が、釈放された後にさらに2人の女性を強姦した。 > でも、彼はイギリスでそれが受け入れられないことを知らなかったから、刑期を終えた後に強制送還が覆されたんだ。

誰かが責任を持たなきゃいけない。何かがうまくいかなかった時には誰かが解雇されたり、刑務所に行ったりする必要がある。AIが間違えた時にプラグを抜くぞと脅すことで、止める動機になる時が転機になるだろうね。ある人たちは、実際にそれがトレーニングプロセスの一部だと指摘するかもしれない。何度もこのループを回れば、そこにたどり着くと思う。

ただ単に正しいツールを使っていないことから問題が生じているだけじゃない？リスクが高くて詳細を確認すべき時には、正しいツールは、nouswiseやnotebooklmのようなAIソリューションで、ほとんどの人が幻覚を起こすかもしれない一般的なチャットボットじゃないと思う。このユースケースは確かに多くの手作業を自動化するための低いハンギングフルーツだと思うけど、応答を検証するための透明性のような新しい要件も伴うんだよね。

これはいつも以上に明確なケースだと思う。ソフトウェアエンジニアやオフィスワークには、誰がその仕事をできるかの法的制限はないけど、弁護士や医者にはあるよね。だから、これがツールなら、責任は完全にユーザーにあるし、もしこれが「他の人の仕事」として扱われたら、ユーザーはその仕事を許可されてない人に渡したことになる。結局、ユーザーが罪を犯すことになるんだ。

ほとんどの国では、AIの時代以前から、判事が悪い判決に対して責任を問われることはないと思う。「チェックアンドバランス、ただし司法は除く」って感じだね。

あるいは、AIはインドで携帯電話が登場したときの固定電話のようになるかもしれない。安価なモデルが教育を提供できることで、インドはまるごと知的な世代を飛ばすことができるかも。全体の人口が「価値が低い」とか、給料が少ない、知識が少ない、生活が少ない…みたいなナarrティブはもうやめよう。この「少ない」っていうの、もううんざりだよ。パラダイムシフトを受け入れよう。神がついにAIの奇跡を通じて支援を提供してくれてるんだ。

AIに関してはもっと衛生面に気を使うべきだよね。LLMから出てくるテキストは特別なUnicodeのコードブロックに入れて、AIが生成したものだってわかるようにすべきだと思う。それをしなかったり、いじったりするのは、手術前に手を洗わない医者みたいに、悪い衛生状態だと見なされるべきだよ。

反論：大手テック企業が法律を破っても、誰も解雇されたり、刑務所に行ったりしない。企業は謝罪を出して、課せられた小さな罰金を払って、違法なAIの使用を続けるだけだよ。

何かがうまくいかなかったときには、誰かが解雇されたり、刑務所に行ったりしなければならない。法律では、誰かが必ず責任を取ることになる。アメリカの弁護士の中には、AIの不適切な使い方で制裁を受けた人もいると思う。他の職業では...あまりそういうことはないね。保険会社がAIを好む理由の一つは、「コンピュータ」が小さなティミーを殺す決定を下したと言えるからだと思う。

どうしてこんなに多くの企業がAIの取り組みからROIがゼロだと言っているのか。従業員がその利益を自分たちのものにしているからだと強く疑っている。XYZレポートは通常、一週間かかるところが、今は一日で書けるようになった。残りの4日は忙しそうに見せるために使っている。MITの報告書では、これらの企業がAIで何も進展していないことがわかったけど、ほぼ全ての従業員がほぼ毎日AIを使っていることもわかった。ただし、企業のアカウントではなく、個人のアカウントを使っている。

まだ誰かが責任を持たなきゃならない。何かがうまくいかなかったときには、誰かが解雇されたり、刑務所に行ったりしなければならない。子供の頃、「コンピュータがダウンした」と言って、物事がキャンセルされたり、オフィスが閉まったり、バスや電車が運行しなかった理由をよく聞いていたのを覚えている。ある時、コンピュータがダウンした理由は、誰かが[コーディング]エラーを犯したからだという記事を読んだことがある。コンピュータ自体は問題なかったのにね。そのコンピュータをダウンさせた人がどのように処分されたのか、まだ読んだことがないよ。

法律文書はレイヤリングの問題みたいで、既存の「コード」を壊さないように装飾を重ねてるだけで、全然簡素化されてない感じ。

法律の問題：大量の定型文を生成する。根本的な問題は、法律の問題は徹底的で正確な言語と明確な文脈を必要とすることだと思う。「定型文」を取り除くと、解釈の余地のある広大なグレーゾーンが生まれる。通常、人間やコンピュータが「要約」したり「平易な言葉」で表現しようとすると、あらゆる文脈や法律的・社会的な「グレーゾーン」を意図的に省略するので、バイアスがかかることになる。法律用語が今のように存在するのは、疑念を取り除こうとする試みだからだよ。それでも、疑念は入り込んでくるけどね。

そうだね、アメリカみたいな先進国では絶対にこんなことは起こらないし、特に連邦裁判所ではあり得ないよ。 https://www.reuters.com/sustainability/society-equity/two-fe...

あなたには2つの選択肢があった：1) 記事を読むか、2) インド人に対して人種差別的になるか。あなたは2を選んだね。記事からの引用：> 10月に、アメリカの2人の連邦判事がAIツールの使用によって判決に誤りが生じたとして批判された。2025年6月、イングランドとウェールズの高等法院は、架空または部分的に作られた判決を引用した一連のケースの後、弁護士にAI生成のケース資料を使用しないよう警告した。