世界を動かす技術を、日本語で。

インドの最高裁判所、下級裁判官が偽のAI生成命令を引用したことに激怒

2026年3月3日原文(bbc.com)

概要

  • インド最高裁判所 がAI生成判決の使用に法的警告
  • AIによる偽判決 が裁判の信頼性に深刻な影響
  • 下級裁判所の判決 がAIを根拠にしていた事例が発覚
  • 高裁・最高裁ともに問題視 し、AI利用規制の必要性を強調
  • 世界各国の司法機関 も同様のAI問題に直面

インド最高裁判所、AI生成の偽判決に法的警告

  • インド最高裁判所 が、 AIによる偽判決 の使用について「重大な制度的懸念」と表明
  • アンドラ・プラデシュ州 の下級裁判所で、不動産紛争判決に AI生成の偽判例 が引用された事案
  • 被告側の異議申し立て により、引用された4つの判例が実在しないことが発覚
  • 高等裁判所 は「善意のミス」と認定しつつも、判決自体は支持
  • 最高裁判所 は「単なる判断ミスではなく、職務違反」として下級裁判所の判決を一時差し止め
  • 裁判の公正性・信頼性 がAI利用によって損なわれるリスクを重視
  • 法務長官・弁護士会 に意見を求め、今後の審理を継続

AIと司法の関係、世界的な課題

  • AIツールの普及 により、判決文や訴状の自動生成が増加
  • AIの「幻覚(hallucination)」 による誤情報や架空判例の生成が問題化
  • 米国や英国 でもAI利用による誤判例引用事件が発生
    • 2023年10月、米連邦裁判官2名がAI使用で誤判例引用
    • 2025年6月、イングランド・ウェールズ高裁がAI生成資料の利用を警告
  • インド最高裁判所 は2023年、AI利用のガイドラインとベストプラクティスを公表
  • 人間による監督制度的なセーフガード の重要性を強調

今後のAI利用と司法制度

  • AI活用の利便性リスク管理 のバランスが課題
  • 司法関係者の教育・ガイドライン整備 の必要性
  • AIによる裁判資料生成 は、あくまで補助的役割に限定
  • 制度全体の信頼性維持 を最優先とする司法運用方針

Hackerたちの意見

どれくらいのケースが起きないと、弁護士たちはLLMが言うことが本当に正しいか確認する必要があるって気づかないんだろう?

アメリカではこれがよく見られるの? これはインド特有の問題に思える。

それよりひどいよ。弁護士やArs Technicaの話が出てくるのは、結果が公になっていて、ミスがひどいからだ。実際には、みんなに起こっている可能性が高いよ。

もう関係ないよ。LLMは、世界中で私たちが作り上げた腐敗した社会を明らかにしただけだね。

みんながどれだけ彼らに信頼を寄せているかに驚かされるよ。人間のように聞こえて、すごく権威のある自信に満ちたテキストを出力するから、無意識のうちに疑念を覆い隠しちゃうのかな?

重要じゃないよ。ほとんどの時間は正しいように見えるけど、時々微妙で見逃しやすい方法で間違っているプロセスは、基本的に人々をチェックしないように仕向ける機械みたいなもんだから、常に何かが見逃される。自動運転の車と同じで、間違いがあったら飛び込む必要があるけど、人間は運転しているときのように反応できないから、関与していないときはもっと遅くなる。誰も自分で運転していたときのように関与し続けることはできないんだ。LLMからの情報を「ただ」チェックすればいいって言うのはやめよう。それは必然的に人々がチェックしなくなって、何かが見逃されるプロセスに繋がる。みんなが結局そうなってしまうのに、それを人々のせいにするのは馬鹿げてるし、根本的な問題を解決することにはならないよ。

なんでこんなAIがいるの?常に人間にチェックさせないとダメなんて。ジャン=リュック・ピカードがエンタープライズのコンピュータの出力を常に確認してたと思う?そんなことはなかったよね。もしAIが人間より優れてないなら、何の意味があるの?人間を使った方がマシじゃん。

この話、ほんとにバカバカしいよ。LLMは参考文献の検証を自動化できるんだから。もし誰かが弁護士、会計士、医者、教師、外科医、エンジニアなどで、GPT-5-extra-lowみたいな低品質のモデルを使って答えを吐き出してるなら、即座にクビにして資格を剥奪すべきだよ。今は簡単だけど、未来の問題はもっと深刻だよ。99.999%の未来のコンテンツは生成AIで作られることになる。FacebookやInstagram、TikTokみたいな非連続的でエンゲージメント重視のフィードを使ってる人たちにとって、今日消費してるコンテンツの50%以上は偽物だよ。そういうのが現代文化に広がると、偽コンテンツを出すべきでないところ(例えばニューヨークタイムズやウォールストリートジャーナル)から排除するのは永遠の戦いになるだろうね。未来の価値や利益率は、正しいデータにあるかもしれない。

今週、25%の引用が捏造されていて、残りの50%も間違っている科学論文の引用を追跡したんだ(著者はここにいるかもしれないけど)。ArXivの論文を引用して、(例えば)IJCLRに属するとして引用していた。これは弁護士だけの問題じゃないよ。

彼女は判決を誤って引用したり誤解させるつもりはなく、「自動ソースに依存したために間違いが起きた」と高等裁判所は書いている。意図はここでは重要じゃないと思う。LLMを使って「自動化」するすべての職業に当てはまる話だよ。責任はプロにあるのであって、LLMにはない。Ars Technicaのケースも同じ理由で正当化できたはずだ。法律を知らないことは法律を破る言い訳にはならないのに、ツールを知らないことがツールを責める言い訳になるのはおかしいよね。

だから、LLMがどの職業でも人間を完全に置き換えることはないんだよね。機械に責任を持たせることはできないから。お金が絡むと、私がいろんなサポートチャネルで体験するチャットボットも、結局は人間の介入が必要になるし。真の一般知能があればこれらの問題を解決できるかもしれないけど、LLMはそのレベルにはまだ達してないと思う。確率的なオウムは世界を支配することはないよ。

彼らは危険を知らなかったとは言えないよね。LLMの幻覚については、ずっと話題にされてきたことで、 obscureな失敗モードじゃないから。AIの問題に関するほとんどの記事がこれに触れてるし。だから、裁判官は怠けてたか、無能か、その両方だと思う。

Hacker Newsで議論の続きを見る