ほとんどの人はこの二つを区別すると思うし、少なくとも後者の方が前者より受け入れやすいってことには同意すると思う。いや、私は自分のサイトをスクレイピングできる自動取得ツールをコントロールできるべきだよ、誰が指示しても関係なく。いくらでもいたちごっこできるけど、私がコンテンツをコントロールしているから、いつでも勝てる。嫌になったらコンテンツを削除するだけだからね。そうすれば誰もコンテンツを得られなくなるし、私たちはPerplexityのような立派な会社にその信頼の崩壊を感謝することになる。

AIがアクセスしたすべての結果をアーカイブ/キャッシュして、十分な人がそれを使えば、スクレイパーにならない？キャッシュデータから学べばいいだけだし。中間者になるのは、重要なコンテンツをスクレイピングしつつ、そのコンテンツの価値に関するシグナルを得る簡単な方法に思える。

理論的には、ユーザーのためにページを取得するのは許容されるはずだけど、これらは著作権などの規範を無視しているAI企業だからね。彼らがページの内容を保存して、将来のAIトレーニングやさらなるクローリングに使わないなんて、バカだと思う。

「クローラー」と「フェッチャー」という用語を使って、大量スクレイピングとユーザーエージェントとしてのもっとターゲットを絞ったものを区別するのが好きなんだ。最近、AIエージェントの検出に取り組んでいて（https://stytch.com/blog/introducing-is-agent/ を参照）、ウェブサイトの所有者がAIエージェントを特定できることには本当に価値があると思う。例えば、完全にユーザーを偽装するのではなく、スコープ付きのアクセスフローに誘導するためにね。逆に、クローラーには評判リスクもあって、誰でも有名なクローラーのユーザーエージェント文字列を使って悪いことをすることができる。今日の標準的な解決策はIPの逆DNSルックアップだけど、これもウェブサイトの所有者にとっては面倒だし、もっと攻撃的にすべての異常なセットアップをブロックする方がいい。

広告は問題のあるビジネスモデルで、あなたの指摘はちょっと面白いと思う。でも、AI企業がコンテンツクリエイターとユーザーの間を取り除くのは、私が望むウェブの姿じゃない。例えば、有料ニュースレターを運営しているコンテンツクリエイターがいるとしよう。彼らはよく研究された魅力的なコンテンツを作るために多くの努力をしている。興味を持った人たちをサイトに誘導するために、その一部を無料で提供する。彼らは、コンテンツを見てアップセルを見ることが密接に関連しているという前提で情報を公開している。そうでなければ、オープンウェブでそれを公開する理由は全くない。今、AIスクレイパーが登場して、面倒な行動を省いてその仕事を喜んで消費して吐き出す。もしAIクローラーがここで勝ったら、みんなが損をする。

あなたが言っていることを誤解していなければ、あなたは記事とは違うことを話しているね。記事はウェブクローリングについて話しているけど、あなたはローカル/個人のLLMの使用について話している。ローカル/個人のLLMの使用に問題がある人はいないよ。問題が生じるのは、Perplexityがウェブクローラーを使ったときなんだ。

スケールの問題だと思う。次のステップはこうかもね：もし人々が個人用のリサーチボットを持って、いろんなサイトで答えを探して、すごく早くページをリクエストするようになったら、どこが境界線になるんだろう？個人のウェブクローリングは大丈夫なの？もしそれがちょっと賢くなって、あなたが何を聞くかを予測して、定期的に情報を集めるためにクローリングをするようになったら（あなたのマシンから）、それはどうなるの？それとも、さらにスケールを広げて、多くのユーザーのために一般的なクローリングを始めたら問題になるのかな？

一部の店舗はInstacartやPostmatesのショッパーを歓迎していないよ。そこで買い物はできるけど、例えば本屋では、価格を合わせるために全てのアイテムをスキャンするためにスマホを出して買い物するのはあまり好まれない。第三者サービスは在庫をインデックスするために従業員を送ることも、オンラインで注文したアイテムを取りに行くために派遣することもできない。その理由は様々。品質のイメージを自分たちのコントロールから外されたくない店舗もあるし（冷たい食べ物の配達、アイテムの価格上乗せ、ひどい代替品など）、スタッフが直接顧客と関係を築くことを好む店舗もある。第三者配達のやり方に反対する店舗もあるしね。無関係なビジネスが自分の店舗内で営業するのを許可しないのは、かなり合理的だと思う。それはデジタルサービスにも当てはまると思う。

広告で溢れかえっていないページもたくさんあるよ。検索エンジンでは、クローリングすることでウェブサイトにトラフィックをもたらすという暗黙の契約があった。非オープンモデルのAIクローラーは、その暗黙の契約を無効にする。まずデータをクローリングしてQAができるモデルを作る。プロプライエタリなLLM企業は、ウェブサイトからクローリングした知識で何十億も稼いでいるけど、ウェブサイトは何も得られない。ユーザーのリクエストを取得するのは、ちょっと似たようなもので、LLM提供者は大きな利益を得て、実際にコンテンツを作るために時間をかけた著者はもう訪問すらされない。さらに、Perplexityがrobots.txtを回避してユーザーリクエストを処理するのが問題ないなら、取得したページをトレーニングやファインチューニングに使わないとはどうして期待できるの？

「もし今、広告やJavaScript、ポップアップで内容が使い物にならないほど埋め尽くされているから、LLMを使ってコンテンツを要約することにしたら、私のFirefoxブラウザが私の代わりにウェブサイトにアクセスするのと、LLMが私の代わりにウェブサイトにアクセスするのは、どうして異なる法的カテゴリーになるの？」この質問の外で考えるべきことは、あなたのLLMの要約が広告や他の操作的なパターンを含まないようになるまで、どれくらいの時間がかかるかってことだと思う。