ほとんどの人はこの二つを区別すると思うし、少なくとも後者の方が前者より受け入れやすいってことには同意すると思う。いや、私は自分のサイトをスクレイピングできる自動取得ツールをコントロールできるべきだよ、誰が指示しても関係なく。いくらでもいたちごっこできるけど、私がコンテンツをコントロールしているから、いつでも勝てる。嫌になったらコンテンツを削除するだけだからね。そうすれば誰もコンテンツを得られなくなるし、私たちはPerplexityのような立派な会社にその信頼の崩壊を感謝することになる。

AIがアクセスしたすべての結果をアーカイブ/キャッシュして、十分な人がそれを使えば、スクレイパーにならない？キャッシュデータから学べばいいだけだし。中間者になるのは、重要なコンテンツをスクレイピングしつつ、そのコンテンツの価値に関するシグナルを得る簡単な方法に思える。

理論的には、ユーザーのためにページを取得するのは許容されるはずだけど、これらは著作権などの規範を無視しているAI企業だからね。彼らがページの内容を保存して、将来のAIトレーニングやさらなるクローリングに使わないなんて、バカだと思う。

「クローラー」と「フェッチャー」という用語を使って、大量スクレイピングとユーザーエージェントとしてのもっとターゲットを絞ったものを区別するのが好きなんだ。最近、AIエージェントの検出に取り組んでいて（https://stytch.com/blog/introducing-is-agent/ を参照）、ウェブサイトの所有者がAIエージェントを特定できることには本当に価値があると思う。例えば、完全にユーザーを偽装するのではなく、スコープ付きのアクセスフローに誘導するためにね。逆に、クローラーには評判リスクもあって、誰でも有名なクローラーのユーザーエージェント文字列を使って悪いことをすることができる。今日の標準的な解決策はIPの逆DNSルックアップだけど、これもウェブサイトの所有者にとっては面倒だし、もっと攻撃的にすべての異常なセットアップをブロックする方がいい。

広告は問題のあるビジネスモデルで、あなたの指摘はちょっと面白いと思う。でも、AI企業がコンテンツクリエイターとユーザーの間を取り除くのは、私が望むウェブの姿じゃない。例えば、有料ニュースレターを運営しているコンテンツクリエイターがいるとしよう。彼らはよく研究された魅力的なコンテンツを作るために多くの努力をしている。興味を持った人たちをサイトに誘導するために、その一部を無料で提供する。彼らは、コンテンツを見てアップセルを見ることが密接に関連しているという前提で情報を公開している。そうでなければ、オープンウェブでそれを公開する理由は全くない。今、AIスクレイパーが登場して、面倒な行動を省いてその仕事を喜んで消費して吐き出す。もしAIクローラーがここで勝ったら、みんなが損をする。

あなたが言っていることを誤解していなければ、あなたは記事とは違うことを話しているね。記事はウェブクローリングについて話しているけど、あなたはローカル/個人のLLMの使用について話している。ローカル/個人のLLMの使用に問題がある人はいないよ。問題が生じるのは、Perplexityがウェブクローラーを使ったときなんだ。

スケールの問題だと思う。次のステップはこうかもね：もし人々が個人用のリサーチボットを持って、いろんなサイトで答えを探して、すごく早くページをリクエストするようになったら、どこが境界線になるんだろう？個人のウェブクローリングは大丈夫なの？もしそれがちょっと賢くなって、あなたが何を聞くかを予測して、定期的に情報を集めるためにクローリングをするようになったら（あなたのマシンから）、それはどうなるの？それとも、さらにスケールを広げて、多くのユーザーのために一般的なクローリングを始めたら問題になるのかな？

一部の店舗はInstacartやPostmatesのショッパーを歓迎していないよ。そこで買い物はできるけど、例えば本屋では、価格を合わせるために全てのアイテムをスキャンするためにスマホを出して買い物するのはあまり好まれない。第三者サービスは在庫をインデックスするために従業員を送ることも、オンラインで注文したアイテムを取りに行くために派遣することもできない。その理由は様々。品質のイメージを自分たちのコントロールから外されたくない店舗もあるし（冷たい食べ物の配達、アイテムの価格上乗せ、ひどい代替品など）、スタッフが直接顧客と関係を築くことを好む店舗もある。第三者配達のやり方に反対する店舗もあるしね。無関係なビジネスが自分の店舗内で営業するのを許可しないのは、かなり合理的だと思う。それはデジタルサービスにも当てはまると思う。

広告で溢れかえっていないページもたくさんあるよ。検索エンジンでは、クローリングすることでウェブサイトにトラフィックをもたらすという暗黙の契約があった。非オープンモデルのAIクローラーは、その暗黙の契約を無効にする。まずデータをクローリングしてQAができるモデルを作る。プロプライエタリなLLM企業は、ウェブサイトからクローリングした知識で何十億も稼いでいるけど、ウェブサイトは何も得られない。ユーザーのリクエストを取得するのは、ちょっと似たようなもので、LLM提供者は大きな利益を得て、実際にコンテンツを作るために時間をかけた著者はもう訪問すらされない。さらに、Perplexityがrobots.txtを回避してユーザーリクエストを処理するのが問題ないなら、取得したページをトレーニングやファインチューニングに使わないとはどうして期待できるの？

「もし今、広告やJavaScript、ポップアップで内容が使い物にならないほど埋め尽くされているから、LLMを使ってコンテンツを要約することにしたら、私のFirefoxブラウザが私の代わりにウェブサイトにアクセスするのと、LLMが私の代わりにウェブサイトにアクセスするのは、どうして異なる法的カテゴリーになるの？」この質問の外で考えるべきことは、あなたのLLMの要約が広告や他の操作的なパターンを含まないようになるまで、どれくらいの時間がかかるかってことだと思う。

1. ウェブサイトにアクセスするには、国家機関が発行した人間であることを証明する限定的な匿名トークンが必要。2. 最終的には、インターネットがソーシャルメディアやボット、国家の関与、そして今はAIによって武器化されて壊されてしまったから、これが今後10年の未来になるべきだと確信している。人間専用のインターネットが存在するべきで、ドメインごとに一つのアカウントだけが必要だよ。

1、2、3について、ウェブサイトのオーナーはIPアドレスやユーザーエージェントに基づいて完全にブロックすることができるんだ。あまり良いことではないけど、最善の反応は別のウェブサイトを探すことだと思う。Perplexityは新しいIPアドレスで「VPNを使って」戻ってくることを選んでる。#2と#3はアクセスが許可されたデータの修正に関することだけど、Cloudflareが本当に文句を言ってるのは#1だと思う。IPアドレスの禁止を回避することは、場合によっては私の原則を侵害しないし、他の場合ではする。

あなたが人間としてちゃんとしていれば、それは全然問題ないよ。でも、私のウェブサイトをスパムで荒らしてリソースを無駄にするなら、ブロックするよ。もしあなたがネットワークリクエストを代理で修正するエージェント（ブラウザや拡張機能、外部プログラム）を使っていて、大きな寄生虫になっていなければ、歓迎するよ。逆に、私のウェブサイトを壊すようなエージェントを使っているなら、あなたとそのエージェントをブロックする。もしあなたが、ページに何が含まれているかを賢く知っているLLMを持っていて（ウェブクローラーに基づいたインデックスがあって、適切な頻度で更新され、正確にロボットとして自己識別し、robots.txtに従っているなら）、関連するクエリの際に瞬時にリクエストをする必要があっても、ボットとして自己識別していて、敬意を持っていれば、問題はないんだ。問題は、LLMを運営している人たちが愚かで、貪欲で、悪意のある人たちで、データを吸い取っているホストのリソースを全く気にしないことなんだ。彼らはURLが何であるかや、サイトオーナーが何からあなたを遠ざけたいかなんて気にしない。彼らは巨大な静的ファイルを何百回、何千回もダウンロードして、12年間変わってないファイルかどうかを確認するためにHEADすらしない。robots.txtを無視して、むしろそれを最初に狙うテンプレートとして使っている。まるで「膝の問題で立ち上がるのに時間がかかる」と言っている老人を聞いて、「ああ、彼はそこが弱いから膝を狙おう」と考えるようなものだ。これらのエージェントやLLMを運営している人たちは、クロールにおける礼儀のすべてのルールを破っていて、今や自分たちの行動の影響から逃れようとして意図的にチェックを回避している。彼らは悪質な行為者で、止める必要がある。ビットコインを採掘するために地球を焼き尽くすクズと同じだ。AI市場にはお金が流れ込んでいるから、彼らはすぐに他の人を犠牲にしなければならないと感じている。倫理なんてゼロだ。彼らの人間としての行動がインターネット全体を破壊する前に、止めなきゃいけない。

「AIに自社製品を推薦させたい企業は、これをオフにしないと財政的に痛い目に遭うよ」コンテンツマーケティング、ゲーム化されたSEO、そして押し付けがましい広告は、Google検索の質を大きく損なう。どんなに欠点があっても、LLMはまだゲーム化されている感じがしない。これが私たちの進むべき道だとしたら、ちょっと残念だね。でも、OpenAIやAnthropicがこの検索結果の質の低下が、Googleのトラフィックが減っている一因かもしれないと気づいてくれることを願ってる。

Cloudflareは訴えられる準備をしていると思うよ。（私は法律の専門家じゃないけど）不法干渉だね。

最新のHard ForkポッドキャストをMatthew Prince（CloudflareのCEO）と一緒に聴くことを強くおすすめするよ：https://www.nytimes.com/2025/08/01/podcasts/hardfork-age-res... 最初は彼らのゲートキーピングの取り組みに懐疑的だったけど、問題と彼らの解決策の初期段階に対する理解が深まったよ。

Cloudflareのビジネス慣行を批判するつもりはないけど、Perplexityが規範を無視するのを正当化する理由にはならないよね。

クロールやスクレイピングは合法だよ。もしあなたのウェブサーバーが認証なしでコンテンツを提供しているなら、自動化されたプロセスであっても受け取るのは合法だ。 > もしコンテンツを制限したいなら、認証を使えばいいじゃん。コンテンツの使用に制限はないの？Googleの結果をただスクレイピングする検索エンジンを作ってもいいの？

「ステルス」クローラーは常に勝つよ。いや、価値のあるサイトにアクセスするにはリモート認証が必要になるから。