俺の小さいマーケティングサイトのいくつかは、200-300RPSに達していて、URLをめちゃくちゃに妄想してる。マジで狂ってる。

Cloudflareは、どのユーザーがウェブサイトのコンテンツを読むことができるかを制限しようとしてるけど、これはもちろん、ウェブサイトをスクレイピングしてトレーニングデータを集めるのとは全然違うよね。Meta、Perplexity、OpenAIは、ユーザーのプロンプトに基づいてリクエストを送るウェブ検索機能を持ってる。これらは次のLLMをトレーニングするために保存されるリクエストじゃない。Cloudflareは両方のタイプのボットの境界を意図的に曖昧にしていて、その意味では「コンテンツクリエイターを守る」と言いながら、真ん中に立ってLLMプロバイダーから料金を取ってクリエイターに支払うという詐欺的な手法を使ってるんだよね（もちろん、自分たちも利益を取る）。これは公平だからやってるわけじゃなくて、金銭的な動機があるんだ。

自分の個人アプリがいくつかあって、CloudflareのAIボット保護をオンにしなきゃいけなかった。というのも、そのうちの一つが先月1.6TBのデータにアクセスされて、1日で130万リクエストも来てたから。もう止まることなく叩かれてたよ。

AI企業がコンテンツをスクレイピングすることで、どれだけのCPUサイクルが消費されてるのか気になるな。この要素は「AIの環境影響」を見積もるときにはあまり考慮されてないよね。このことが推論やトレーニングにどれだけのオーバーヘッドをもたらすんだろう？公平に言えば、正確な測定には、ボットを動かしている人間のユーザーがどれだけのCPUサイクルを使うかも考慮する必要があると思う。その観点から見ると、スクレイパーは効率的にクローリングすることで「埋め合わせ」ができるかもしれない。つまり、クエリを解決するために必要ない限り、トラッカーのスクリプトや画像を読み込まないようにするってこと。こうすれば、CPUサイクルは消費するけど、少なくともヘッドフルなブラウザインスタンスを持つ人間のユーザーよりは少なくなるはず。

自分のサイトがMetaやPerplexity、OpenAIなどの悪質な業者にすごく攻撃的にクローリングされるのに大きな問題を抱えてるよ。もし、インターネットの中央アーカイブみたいなものがあればいいのに。そうすれば、これらのAI企業はその単一の存在と合意の上で直接やり取りできるんだ。

AIポイズニングの方がいい保護策だと思う。Cloudflareは、クライアントを守るためにAIボットに悪いデータを供給することができるんだ。

同意。これが最善の解決策とは言えないかもしれないけど、うまく機能している解決策ではあるよね。中央集権は悪だとか言ってるけど、もしCloudflareが主要なAIプレイヤーを巻き込めたら、主要なCDNも参加させることができたら… ipso facto columbo oreo…スタンダードになるかも。

証明書機関は、ボットに「見える」人間をブロックしないよ。

これは大きな問題だね。Cloudflareのような無料CDNの良い代替手段はないよ。彼らは世界中にサーバーを設置して、それを無料で提供してるんだ。そして、プレミアムなサーバーレスサービスでお金を稼いでる。大手クラウドプロバイダーの出口料金もひどいし。

ユーザーアカウントと支払いシステムでロックできるよ。サイトがインターネットにあるからって、利益を得られるかどうかは自分次第なんだ。俺が望むのは、ISPに通知して「このトラフィックを俺のサイトにブロックして」って言える方法だね。

これらの敵対的なソフトウェアに対抗するフリーソフトウェアを開発することだね。企業は敵対的なAIエージェントを開発し、優秀なハッカーは対AIエージェントを開発する。この「力がない」という敗北主義的な態度はやめよう。

最近、自分のウェブサイトがAIエージェントにブロックされてることに気づいたんだけど、そんなことを頼んだ覚えはないんだ。デフォルトでオプトアウトになってるみたいだけど、わかりにくい形で。すごくイライラする。特に一社は、かなりの善意を失うリスクを抱えてると思うけど、もうしばらくその道を歩んでる気がする。

robots.txtに法的な力が必要だと思う。全員を止めることはできないけど、大企業は訴訟のいいターゲットになるだろうね。

でも現実は、小さなブログやコンテンツをAIトレーニングボットからどうやって守るかってことだよね。ペイウォールが必要だ。実際、みんなが求めてるのは、自分のコンテンツをオープンなインターネットに置きつつ、誰がアクセスできるかをコントロールしたいってことなんだ。それが根本的な問題だよ。

逆に考えてるかもね。ハードワークが必要なのは出版社じゃなくて、これらのシステムをトレーニングするための数十億ドルの投資なんだ。もし君や僕が出版社に対して補償なしで何かをダウンロードしたら、それは刑務所行きだけど、ザッカーバーグやベゾス、マスクなら無罪放免なんだよね。これが変わるべきシステムだと思う。僕は自分のブログをこういうビジネスから守る必要はないはず。彼らは僕のコンテンツが彼らのビジネスモデルにどれだけ価値を加えてるかを考えて、どうやって僕に支払うかを考えるべきなんだ。もしそれをしたくないなら、そのモデルを運営する権利はないよね。僕がスプリンガー・ネイチャーが発表した論文を使って、何も払わずに技術を構築することができないのと同じように。こういう権力の不均衡は一時的なものだと思う。これらの兆ドル企業は、スピードランすれば大きくなって、法律も彼らの領地に屈すると思ってるけど、長期的にはそうならないよ。歴史が教えてくれるのは、権力の集中は時間とともに衰退するってこと。結果はあまり良くない。シリコンバレーやシアトルでギロチンの足場が立つのを見ることはないかもしれないけど、いつかは立つと思う。これらの企業が歴史から何を学ぶべきかを理解しない限り。

オニオンサイトにはボットやスクレイパーがいるよ。彼らはCloudflareを使ってないと思う。通常は、ウェブサイトが生成するパズルを使ったり、プルーフ・オブ・ワークベースのキャプチャを使ったりするんだ。この2つの中ではプルーフ・オブ・ワークが十分だと思ってるし、サイトの所有者がCloudflareや第三者に頼らずに自分で運営できるっていうのもいいよね。

みんな自由でオープンなウェブの夢が大好きだけど…現実は、小さな人が自分のブログやコンテンツをAIトレーニングボットからどうやって守るかってことだよね。これらの発言は完全に矛盾してない？自由でオープンなウェブがあるか、ないかのどちらかだよ。AIトレーニングボットをブロックするのは、自由でオープンなものではないよ。

なんであなたのブログを守る必要があるの？情報は自由であるべきだよ。

一つの会社が運営するホワイトリストにサイトオーナーが参加するってこと。そう、それには問題ないよ。ただ、それがプロトコルじゃないってことを示唆してるだけ。 > でも、AI生成の漫画をブログ投稿に使いながら公平性についてイデオロギー的な立場を取るのは皮肉だね。え、待って、何？

これはフライパンから火に飛び込む選択で、重要な瞬間に依存するデファクトスタンダードを生み出す可能性がある。ホットな話題がプロトコルやスタンダードに基づく解決策を持つことができたかもしれないのに。Cloudflareは、みんなに影響を与える実際の問題のために、自分たちのブルーオーシャンを作ろうとしてる。 > でも、AI生成の漫画をブログ投稿に使いながら公平性についてイデオロギー的な立場を取るのは皮肉だよね…「でも君は社会に参加してるじゃん！」

ウェブサイトのオーナーにも権利があるんだよね。彼らがサイトを経済的に運営するために、そういうゲートキーピングを導入することを選べないって主張してるの？

自分も同じことをしていて、ボットブロッカーに引っかかることがある。でも、ホストは自分のリクエストに対して何をしてもいいと思う。この問題は、政府のサイトについて話し始めるともっと複雑になるよ。理想的には、彼らはみんなに公平にサービスを提供する強い義務があるからね。

DID仕様は、ATProtoでも使われていて、かなり柔軟だよ。もっと多くの場所やプロセスで使われるといいな。 https://www.w3.org/TR/did-1.1/

それはIPアドレスって呼ばれてる。いくつかのISPは加入者に固定IPを割り当てないから、今ではタイムスタンプが必要なんだ。この組み合わせは、回線の責任を持つ加入者に追跡可能で、召喚状が出た場合には法執行機関と協力したり、悪質なトラフィックを自分から送信しないようにするために必要だよ。法執行機関が仕事をしないから、みんなが報告するのを面倒に感じるのが本当の問題だと思う。機能しない政府機関の代わりに第三者の識別サービスを使うのはちょっとみっともないけど、今日出てきてる商業的なゲートキーパーよりはマシかもしれないね。