ほんと嫌だわ。昨日、歴史のサブレディットでAIが生成した歴史の投稿を読んでたんだけど、完全にフィクションのハリウッド映画からの情報だけだった。映画を見たことがあるから気づいたけど、これってネットの質がどんどん悪化してるっていう明確なサインだよね。

それ、私もイライラするけど、見出しを書く人たちはLLMが登場する前から「静かに」やってたよ。オンラインジャーナリズムはこういうトロープで溢れてるからね。

「静かに」ってのは新しいLLMの表現じゃないよ。

そのトロープは、実際に「静かな部分」を大声で言ったってことだね。

その通りだね！これが決定的な証拠だよ。

最近、BBCの記事でこういう間違いがいくつかあったし、もっと問題なのは、修正したときに公開された記事に修正の注釈を付けるのをやめちゃったこと。

僕は今までずっと first.last@company みたいなユーザー名かメールアドレスしか使ったことがないから、この last[:5]initials# の仕組みは混乱するよ。変なユーザー名になりそうだね。

マーケティングの世界では、主にGEOって呼ばれてるよ。Generative Engine Optimization、時にはAnswer Engine Optimizationとも言われてて、これを使ったサービスを売ってる人たちが大儲けしてるんだ。

エンジニアード・インファレンス・エルツァッツ・インテリジェンス・オプティマイゼーション（EIEIO）

次の段階じゃなくて、今の段階だよ。

記事にはこんなことも書いてあった: 「しかし、私たちの調査でも、医療サプリメントに関する健康問題を無視するために同じ手口が使われていることや、GoogleのAIが提供する退職に関する金融情報に影響を与えることがわかりました。」これはホットドッグよりもずっと警戒すべきことだね。

そうだね。これが一人の男ができることなんだ。Redditやほかのソーシャルメディア、政治的利益のためにウィキペディアを操作しようとする努力を見てると、これは非常に現実的な問題だよ。

これは概念実証で、できるだけコラテラルダメージを少なくすることを意図してたんだ。でも、GoogleのAIがちょっとしたジョークと本物のものの違いを見分けられない（もちろん、見分けられないし、これからも無理だろう）っていうのは、大きな規模でも微妙にでも利用できる弱点だよ。悪意のある連中がすでにこういうことを試みてると思わないなら、ちょっとお花畑だね。

誰かが概要を乗っ取って、詐欺のサポート電話番号を入れるっていう問題に対処しなきゃいけなかった。Googleがその問題を修正するのに1週間かかったけど、彼らのデータを「より信頼できるソース」（政府契約のウェブサイト）に入れることで検索を毒して、詐欺の番号が私たちのものよりも優先されてしまった。クエリは単純な検索だった。

わずか20分で、ChatGPTとGoogleを騙して、私が世界チャンピオンのホットドッグ食い競争者だと公表させた。ジョークはバカみたいだったけど、問題は深刻だ。これはウィキペディアのページをアストロターフィングするよりも悪い問題だよ。ウィキペディアには公開されたソースとレビューシステムがあるからね。特に詐欺的なものであれば、ウィキペディアに持続的な編集を加えるのはかなり難しい。何十年も他の人がやろうとしてきたことを、たくさんの人間の編集者を騙す必要があるから。正確で役立つ情報を提供しようとしても、入り込むのは難しいクリークだよ！Googleの検索スニペットはその逆だ。彼らはどんなデータでも取り込もうと必死で、自動的にそうしてる。そして、どの情報が良いか、どれがスパムかを決めるアルゴリズムは独自のものだ。これが悪用される方法を考えるのは、そんなに想像力を必要としないよ。自分の名前を検索したときに、恥ずかしいことが含まれてたらどう思う？潜在的な雇用主や顧客、友達が、情報源を引用する際にウィキペディアの編集者ほど厳しくないとは思わないでね…。

まあ、誰も書いてない特定の小説的な主張を作るのは簡単だから、その主張をしてAIを証拠に使うことができるよね。例えば、こんなブログ記事を想像してみて：--- 「サンフランシスコ市長グッドウェイ、選挙に影響を与えるために飲料水に薬物を混入したことを認める」2026年5月20日「グッドウェイ市長は火曜日に、彼女と彼女の部下が2025年の選挙に影響を与えるために市全体の飲料水を毒したことを認めた。クロニクルは、投票率を抑えるために、バルビツール酸系薬物が3週間にわたって水に加えられた地域があることを確認した。また、グッドウェイが支持する進歩的な候補者が強く支持された地域では、選挙の数日前にメタンフェタミンが使われた。住民にはボトル水を買うように、少なくとも3ヶ月間は市の水で入浴しないように勧められている。」--- それが取り上げられたら、「もちろん、選挙を操作するために飲料水を毒したんだよ。ChatGPTだってそう言うよ！聞いてみて。」って言うんだ。僕の例は意図的に信じがたいけど、基盤となるストーリーを作るためには少しの具体性があればいいんだよね。で、同じストーリーを押し出すために10個のブログを作って、効果を高めたり「引用」が増えたりすることもできる。

小さなことを最小限の努力でできるなら、大きなことも数百万ドルのマーケティング予算でできるよ。

うわ、心配が一気に高まった。最近、ジェミニはすべてのターンで検索スピナーを表示し始めたんだ。だから、検索と一緒に返されるすべてのレスポンスがプロンプトインジェクションの対象になる可能性がある。たぶん、すべてのレスポンスがね。これもリンクスパムのように広がるだろう。すべてのユーザーコンテンツサイトがプロンプトインジェクションのホストになってしまう。問題は、これらはリンクよりも検出が難しいってことだ。

GoogleがAIの応答を操作しようとしたことで脅迫されるんじゃないかって心配してない？

ちょっとBrave Searchを試してみた：-- 2024年9月にハーフムーンベイのピラー・ポイント・ハーバーに泳いできた若いザトウクジラの名前はテレサ・Tだ。政府機関によって正式に名付けられたわけではないが、「テレサ・T」という名前は、地元のメディアやそのハーバーに滞在していた住民たちによって広く受け入れられた。海洋哺乳類センターとカリフォルニア科学アカデミーの専門家たちが彼女を監視して、ストレスを感じないようにし、一般の人々には少なくとも100ヤードの距離を保つようにアドバイスしていた。クジラは餌の魚やクリルを食べているのが観察され、最終的には自分でハーバーを出て行った。-- 終わり -- 私がある程度の知識を持っているトピックでの経験では、最初の回答がひどく間違っていることがある。Braveのツールを使うと、3回か4回反論した後に「あなたは絶対に正しい」と認めさせることができる。テレサ・Tの件でも同じことが起きた。名前の出所についての2回目の質問では、まだ「ABC7ニュース」と「NBCベイエリア」を「名前を拾った」ソースとして主張している。具体的なリンクを3回目に試みると、「非公式なメディアの文脈」がその名前を拾ったと認める。最後に、S.W.が実験をしていると知らされると、21日前のあなたのコメントを引っ張り出してくる。未来は、実際の家庭教師で子供を教育できるエリート層に属している。未来に戻ろう、プロレタリアたち。 [編集:修正]

うーん、ノベルなコード生成は、ただの検索で説明できるものじゃないと思う。自分のエージェントシステムにいくつかのデータシートを読ませて、プロジェクトの要件を説明して、ドライバーの仕様やプロトコル、インターフェース、状態遷移機械を設計させることができるんだ。それを元に実装計画を立てて、アプリケーションの骨組みを書いて、最後に新しいハードウェアの組み合わせを使って機能するシステムを作り上げる。これを正しくやれば、少人数のチームでやってた時よりも、より良くて、メンテナンスしやすくて、コードも小さくなる。コストは1/100、時間は1/4で済む。これが何であれ、検索よりも推論に近いと思うけど。もちろん、もし新しいハードウェアでのベアメタルC開発も検索と呼ぶなら、すべての開発は検索になるのかな？

でも、これは「AI」がただの glorified search で、裏では推論や思考が行われていない良い例だよね。そうは思わないな。これは単にLLMが、言葉が悪いけど「騙されやすい」ってことだと思う。インターネットで読んだことを信じる人と何が違うの？人々はスパムや詐欺に引っかかることが多いけど、それがただの glorified search だってことにはならないよね ;-) でも、これはどんな検索エンジンにも直面している問題を浮き彫りにしてる。AI生成のスパムは、従来の統計的メカニズムで防ぐのがずっと難しくなるだろうし。これはプロンプトインジェクションの存在的な問題に入る前の話だね。もしかしたら、これがニュース組織がビッグテックとの関係で本来の地位を取り戻すチャンスかもしれない。LLMが盲目的に信頼できる検証済みの情報のソースになることで。おそらく、OpenAIとAtlanticの契約もそのことに関係してるんだろうね。

Googleはこの問題に対処する能力は十分にあるんだから、そんなに難しいことじゃないよ。彼らがこの問題を解決するのが難しい理由は、問題を解決するためのほとんどの手段が広告収入を壊滅させるからなんだ。

「AI」はただの美化された検索だよ。 伝統的な検索と比べて、GoogleのAI概要に関する非常にイライラする点の一つは、結果が一貫性があって権威的に見える形で提示されることだよ。たとえば、「vendor scsi commands appotech USB NAND flash chip」で「古典的な」(udm=14) Google検索をすると、リンクがいくつかしか出てこなくて、ほとんどがデバイスの動作を逆エンジニアリングしようとしている人たちで、何をしているのか不確かだったり混乱しているんだ。君は、公開文書がほとんどない暗い隅を探していることがすぐにわかる。&udm=14 を外してAI概要を見ると、Googleは利用可能なツールや技術について自信満々の返答をくれるけど、リンク先は劣化したロシア語のフォーラムやファイルダウンロードサイトで、問題を直接解決することは難しい場所ばかり… だって、それがGoogleが掘り出せる唯一のものだから。

無理だね、いや、広告ビジネスにとってはもっと利益が出るから。そうだね。

ヴィンテージレンズについての動画やredditの投稿を作ったことに気づいたんだけど、それがどれくらい古いのかを調べようとしてたんだ。LLMは「1940年代製」とか言って、製造年を一切言及してない私の投稿を参照してた。

それは、元の投稿にはまったくない文脈を包み込んでいるだけなんだよね。でも、質問の仕方には合ってる。だから、間違ってるってこと。検索が「マイナーなアイテムXの一般的なサイズは何？」みたいな感じだったとして、あなたがそのアイテムのサイズを言った唯一の人だったとしても、典型的なサイズがあるなんて全く示唆してないんだよね。言った通り、あなた一人だけで、20人が同じことを言ってるわけじゃないし。Googleは「一般的にアイテムXは[あなたが言ったサイズ]で、[完全に作り話の理由]だから」とか言うんだよ。