これ、完全に間違った方向に進んでる気がする。これがやってるのは「はい、クローリングの作業はそのまま続けて、ただ今はもっとお金を払ってね」ってこと。Cloudflareはこの追加コストに対して価値を提供しようとしてない。ウェブをクローリングすることは、これらのAI企業や挑戦者の検索エンジンにとって競争優位性じゃないし、ただのコストで大きな気晴らしだよ。彼らは共有インフラで協力すべきだと思う。いろんな会社が独立してサイトにアクセスするんじゃなくて、みんなが貢献する単一のクローラーが必要だよ。フィルターを設定して、フィルターがURLに一致する人は比例して貢献する。変換（例えば、HTMLからMarkdown、テキストから埋め込み）を設定して、変換を共有する人も比例して貢献する。これによって、ウェブサイトへの負担が大幅に減るはず。みんながサイトにアクセスする代わりに、たった一つのクローラーがアクセスすることになるし、いろんなクローラーがrobots.txtを正しく守ることを期待する代わりに、技術的かつ契約的にそれを強制できる。クライアントにはブロックされたコンテンツが届かないし、どうしても欲しいなら、自分でクローラーを実装して維持する必要がある。それは、ただの住宅IPを通してプロキシするよりもずっと魅力がないよね。もし支払いを追加したいなら、まあ、いいけど。それで多くの人が報酬を得られるとは思えない。まだ見られていないコンテンツのために自動支払いを設定するのは誰だろう？自動生成された無駄なページにお金を払うだけになるよ。ここには、AI企業や検索エンジンがクローリングをより簡単で安くする解決策があるはずなのに、Cloudflareは「いや、ただ払え」って言ってるだけ。全然想像力がないし、魅力的でもないね。