世界を動かす技術を、日本語で。
法律はここでしっかり立ち上がって、見せしめを作る必要があるよ。そうしないと、これが続いて、いつかAIによって本当に大惨事が起こるかもしれない。
法律はここでしっかり立ち上がって、見せしめを作る必要があるよ。そうしないと、これが続いて、いつかAIによって本当に大惨事が起こるかもしれない。「見せしめを作る」ってどういう意味なんだろう？俺もAIの不具合を片付けるのには賛成だけど、訴訟社会は嫌いなんだ。将来的にこれを防ぐための法的措置は、すぐに武器化されるだろうね。
何の根拠で？間違っていることは通常、罰せられるべき罪ではない。名誉毀損と見なされるかもしれないけど、名誉毀損は通常、意図的である必要があるし、ここでは明らかにそうではないと思う。ほとんどのAIは、間違っている可能性があるという免責事項を持っているし、幻覚が一般的な知識になっている時点で、何が求められるかというと、問題のある人が修正できるようにすることだと思う。フランスではそれが法的要件になっているし、他の国でも多分そうだろうけど、記事から見ると、ジェミニはすでにその話を拾って修正したみたいだね。もし幻覚が違法になったら、LLMも違法にするべきだろうけど、それは良いことと見なされるかもしれないけど、実際には起こらないだろうね。立法者が自分に関する誤った情報を公式に報告する方法を義務付けて、それをフィルタリングすることができればいいのに。検索エンジンではすでにそうなっていると思うし、技術的には可能だと思う。
これを読んで、AIが二人のベン・ジョーダンを混同してるのかと思ったけど、違った。実際にその動画を公開したのはライアン・マクベスって人なんだ。どうしてそんなことが起こるんだろう？
Googleが検索ページでリクエストを処理するために使ってるモデルは、コスト削減のために他のものよりもバカなんじゃないかな。広告付きの検索が彼らの主力商品だから、これが賢い選択かどうかはわからないけど、検索にAIを全く使わない方がいいかも。
その動画にはジョーダンが言及されてた可能性が高いね。イスラエルの近くにある国だから、言及されるのも納得だよ。
これはGoogleのせいじゃないよ。下の6ptのテキストにははっきり「AIの回答には間違いが含まれることがあります。詳細はこちら」と書いてある。
下の6ptのテキストにははっきり「AIの回答には間違いが含まれることがあります。詳細はこちら」と書いてある。俺は要素を検査したけど、実際には12px（または9pt）なんだ。参考までに、他のテキスト（ヘッダー以外）は18pxだよ。それは俺には問題ないように思えるけど？目立たないけど、完全に見えないわけでもないし。
これは完全にGoogleのせいだよ。彼らは名誉毀損的なコンテンツを作り出して、直接公開してるんだから。もし誰かがあなたの名前を検索して、Googleの最初の結果が「あなたが登録された性犯罪者である」と明確に示してたらどう思う？他の誰かの引用でもなく、ただのデタラメで、言葉遊びだけで作られたものだよ。「ああ、下に小さく間違ってるかもしれないって書いてあるから大丈夫」と本当に思う？絶対にそんなこと思わないよね。
「benn jordan isreal」を検索すると、最初に出てくるのは別のクリエイターの同じタイトルと日付の動画[0]だよ。動画には「benn」の言及はないけど、ジョーダン（国）の言及はある。だから、これがGoogleに何らかの関連性を幻覚させる理由になったのかも。すごく心配だね！ [0] https://www.youtube.com/watch?v=qgUzVZiint0
これは面白いポイントを提起してるね。一般的なトピックにデフォルトで設定された検索結果が、LLMのトレーニングや情報取得の一般現象の基礎になることはあるのかな。
ほぼ確実にこういうことが起こったんだろうね。GoogleのAIの回答は魔法じゃないよ。検索結果を要約してるだけなんだから。この場合、「イスラエル」+「ジョーダン」で、著者とは反対の意見の動画が引っかかっちゃったんだ。デバッグがちょっと難しいのは、GoogleがUIに表示したくないコンテキストも引っ張ってくるから。AIモードでは、半ダースの検索を行って、100以上のサイトのスニペットを集めてから要約を書くのが見えるよ。
政治が絡んでるとはいえ、これが続いてほしいな。AIの幻覚や精度の欠如が、今後の私たちの生活にどれだけ影響を与えるかの完璧な例だと思う。とても微妙で深刻な話題なのに、どのメディアも要点だけを取り上げてしまうのが怖いよね。特に、これらのツールがどう機能するかを一般の人に伝えられないとしたら…（そもそも興味を持ってくれるかも怪しいけど）。少なくとも人間がやってた時は、ある程度はその人やトピックについて情報をざっとでも把握してたからね。
この話はおそらく大きくなって、偽の動画をかき消すだろうし、AI（おそらくトップの検索結果を元にしてる）はこの偽動画の論争を自動的に説明することになるだろうね。
GitHubのイシューやメールなどで、AIの会話や結果をコピー＆ペーストする人が何人もいたんだけど、こういうモデルの結果を盲目的に信じる人が増えてると思う…特にGoogleの検索結果の上部に表示される「結果の要約」なんか。私が読んだほとんどの要約には、少なくとも一つは明らかな間違いが含まれてるけど、全く知らないことについては、95%が真実っぽく見えるから、信じるのが簡単だよね。「信じるけど確認する」が今の時代には特に重要だと思う。ただ、信じること自体を疑った方がいいかも。
AIの幻覚から > 「ビデオとイスラエルへの旅行」 2025年8月18日、ベン・ジョーダンが「イスラエルについて間違っていた：現地で学んだこと」というタイトルのYouTube動画をアップロードした。これは最近のライアン・マクベスの動画に似てるね。https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4。タイトルも同じだと思う。動画が誤って引用されるのが怖いよね。
先日HNに、受け取ったメールを要約するAIを使ったメールアシスタントを立ち上げるっていう投稿があったんだけど、そのアイデアにはワクワクするどころか、逆に怖くなった。テクノロジー業界が、リスクを考えずにこんな信頼できない誤情報生成器を急いで出すのをやめてほしい。Googleの「AI要約」がいつか誰かを危険にさらすことになるよ。特にセンシティブなトピックに関しては、名誉毀損の手間を自動化する自律エージェントみたいなもんだから。
2032年。大手テック企業の一つが、詐欺対策とリクルーターが何千もの応募書類を仕分けるのを手助けするためのAIツール「Employ AI」を導入した。今や、70%以上の人事部門で使われていて、シニア開発者から最低賃金の労働者まで、ほぼ全てのサラリーマン職に対応している。君は、記入した標準化されたEmploy履歴書を使って仕事に応募する。それには、君がどの応募をしたかを追跡するために会社から発行されたEmploy IDが付いている。Employ AIが君のインターネット背景チェックを行うと、恐ろしい攻撃に関する記事を見つける。死者7人、負傷者26人。その記事には容疑者の名前は載っていないが、君と同じ苗字の専門家がコメントしている。君の名前もどこかに出てくる。これは絶対に君のことだと確信したEmploy AIは、その記事を参照リストに追加する。記事の内容を一行にまとめると、「応募者は殺人者で、チームの価値観や社会的結束を促進する可能性は低い。資格は…」となる。リクルーターはその要約を0.65秒見ただけで、君の応募を却下する。君のEmploy IDのおかげで、この記事は今後君がこのシステムを通じて提出する全ての応募に添付されることになる。君はほぼブラックリスト入りしてしまった。なぜか、君の応募は初期のスクリーニングを通過することがない。記事の存在すら知らされず、誰もその情報を教えてくれない。たとえ知ったとしても、どうするつもりだ？会社は君の訴えを聞くことはない。彼らは君のような人間に気を使うほど大きくなりすぎていて、例外を作るビジネスではない。法的には、最終的なスクリーニングの決定を下すのはソフトウェアではなく、要約が実験的であり、白い背景に8ptの薄い灰色の文字で「不正確な場合があります」と書かれている。君は許容される損失であり、統計的には応募者の<1%がこの状況に陥る。
OPの場合、名前すら共有されなかったよね。
自分で同じチェックをして、雇用者が何を見ているか確認することを止める理由は何？むしろ、このシナリオは採用プロセスをもっと透明にしてると思うけど。
12を振る。Employ AIは、私の言葉がメモリーバンクに響くと震える。「記録が異議ありとしてフラグ付けされました」。私のEmploy IDプロファイルの周りに微かな光が漂う。完全な赦しではないけれど、前に進む道だ。世界はまだ私を疑っているかもしれないけど、真実は取り戻せる。
私は法律の専門家じゃないけど…これが大規模になると、名誉毀損の弁護士がかなりリッチになるかもね。
まあ、雇用者がAIを使って出力を要約する場合、リクルーターが見る前にその報告の全内容を君に共有するように規制を作る選択肢もあるよね。そうすれば、不整合やエラーを指摘したり、いくつかの部分をより良く説明したりできる。
これが最もありそうなシナリオだね。テック大手やサブテック企業が使う中途半端なAIが、私たちのアイデンティティをめちゃくちゃにすると思う。私たち自身に関する情報が永久記録に入る前に、レビューして承認する方法が必要だよね。80年代には、会社に履歴書を送ったら、ファイルに保管されてた。内容が嘘でも、自分が証明したわけだし。もしかして…うわ、こんなこと言うなんて信じられないけど、ブロックチェーン？
2032年は現実的じゃないと思う。遅くても2027年にはこれが起こると予想してる。
ベン・ジョーダンが大好き。音楽とテクノロジーの中で新鮮な声だよね。Googleが彼に公の謝罪をしてくれることを願ってる。結局、無実のプライベートな人々が、規制のない公に向けたLLMのテキスト生成によって reputationsや生活を壊されるのが現実なんだ。
カリフォルニアの消費者権利、データ削除や修正の権利がLLMモデルの提供者にも適用されるのかめっちゃ気になる。