有効化される前は、毎日数十万件のリクエストが来てたんだって。アヌビスがアクティブになった途端、24時間後にはリクエストが11件に減った。こういう実験データ大好き！アヌビスが導入されたときの直感的な反応なんて、スパムみたいなもんだったから、全然違うよね。

シンプルなPoWがほぼすべての活動を止める効果に驚いてる。全プロジェクトでアヌビスを低難易度で実装して、sitemapやrobots.txtにしっかりllms.txtを参照させて、LLMが自サイトの関連データを取得できるようにしつつ、悪質なボットを排除するつもり。中国からのリクエストが何千件も来てて、コストがかなり増えてたから、解決策が簡単そうで嬉しい。

プレスタショップのウェブサイトでこのパターンがすごく多いんだ。ボットからのリクエストが何千件、いや何十万件も来てて、User-agentで自己主張してないし、いろんなIPから来てる。めっちゃウザい。しかも、見た目は正当なトラフィックに見えるからフィルタリングもできない。色やサイズなどのオプションがあるページでは、すべての組み合わせを試して、リソースを食い尽くしてる。

2分間このページにいるけど、まだボットかどうか確信が持てないって笑。前世で何をしたらこんな目に遭うんだろう :(

スパムや詐欺、ボット管理のツールを作り始めたんだ。もし既に decent なインフラが整ってるなら、いろんなテクニックを使って結構管理しやすいタスクだよ。明らかなやつ、例えばアリババとかには ASN ベースのブロック（IP ルックアップデータベースは自己ホスティングできて ASN を含む）を使って、あまり明らかでないやつにはサブネットブロックを使う（パターンを見て、サブネットをブロックすることで、問題を軽減するけど解決はしない）。ログのスタックがあれば、クローラーやボットのパターンを簡単に見つけられるし、ブロックするための候補となる IP サブネットをフラグ付けできるよ。確かに、これは whackamole みたいなもんだけどね。リスクデータベースに基づくブロックも試してるところで、プロバイダーによって年間 $2k から $10k の間で運用されてる。これらは IP 範囲を is_vpn や is_tor みたいなブール値にマッピングして、ASN 情報も含んでる。少し怪しいクローリング行動やキーワードフラグがそのデータベースにヒットすれば、高い信頼度のブロックができるよ。こういうのは今や claude で簡単にできるから、前は本当に面倒だった。

悪化してるのは分かってたけど、Meta の facebookexternalhit ボットが最近行動を変えたんだ。巨大な増幅（少なくとも 40 倍）でレスポンスを引っ張るだけじゃなくて、fbclids を混ぜたトラフィックも送ってきてる。理由は全然分からない。彼らは自分たちの ASN（と EC2）から、完全に偽装された UserAgent で大量のマスクされたトラフィックを送ってきてる。最も奇妙なのは、サイトに関連するモバイルアプリの API を高頻度でスクレイピングしてること。AI トレーニングに特化した他のクローラーがこれをやってるのはよく見るけど、facebookexternalhit の行動の急な変化には驚いた… これはここ一週間くらいの話。最近はみんなおかしいよね。今月は Amazonbot に DoS 攻撃も受けたし。何が起こったのか教えてくれないし、競争環境を理由にしてる。

自分のコンピュータで Firefox を使うと、14 コアの CPU を使って、35 ワット余分に消費して、進捗バーはほとんど動かない。これってサイトが暗号通貨をマイニングしてるの？Safari や Orion では、ただ非常に遅く読み込まれるだけ。暗号ジャッキングでリストから外されたくないサイトでは、絶対にこれを使いたくないね。

これらのボットはほぼ確実に AI トレーニングのためにデータをスクレイピングしてる。普通の悪役はページに何百万ものユニークな IP を投げる資金がないからね。彼らは多分、いくつかの異なる会社に属してるんだろう。スクレイピングしたデータを AI 会社に売ってるか、彼ら自身が AI 会社かもしれない。確かには分からないけど、そんなに大きな AI 企業は多くないから推測はできる。ここでの理論は、OpenAI や Anthropic、Gemini、xAI、Qwen、Z.ai などが、インドネシアの国内プロキシを通じて悪質なスクレイパーを運営しているか、そういうスクレイパーを運営する会社からデータを買っているってこと？それを確かめたい。誰がこの活動にお金を払ってるの？スクレイピングされたデータのマーケットプレイスはどんな感じ？

Safari はページを開けません。 オーガニックな HN トラフィックが関係なくサイトを壊せるのに、これらのアンチボット対策の意味は何なの？もしこのサイトが望ましくないパーティから情報を守るためのものであれば、今の運営方法が最も理想的だよ。情報は結局引き抜かれる。TSMC のウェハースタート予算やマイクロソフトのクラウドインフラに直接アクセスできる軍隊には勝てない。別の場所で戦うべきだと思う。これはクッキーのバナーと全く同じ。ここで誰も何も勝ってない。公開インターネットに情報を発信するのは二者択一の決断だよ。アクセスを制御したいなら、Netflix や他の多くの会社がやってることをするしかない。両方は無理だよ。

AI企業、特にAIスクレイパーは、WWWの残りを壊している癌だよ。昨日、かなり大規模なボットネットによる「分散スクレイピング」攻撃を受けた。- 約400,000の異なるIPアドレスが約3時間で - 主に住宅IPアドレス - 有効でユニークなユーザーエージェントとリファラー - 各IPアドレスはリクエスト間に長い遅延を置いて、数回だけリクエストを送る。サーバーに負荷がかかって、応答が遅くなるまで攻撃して、その後約30秒間バックオフして、また強く攻撃してくる。ユーザーエージェントとリファラーパターンの組み合わせで大半のリクエストをブロックできたけど、正当なユーザーがブロックされる可能性もある。攻撃はうざかったけど、もっと大きな問題は、このウェブサイトのデータがライセンス下にあること。俺たちはそれにお金を払わなきゃいけなくて、安くはない。広告収入といくつかのサブスクリプションでなんとか支払えてるけど（ギリギリ）、もしみんながそのデータを「エージェント」やスクレイパーから得ているなら、広告収入がなくなって、すぐにスクレイピングするウェブサイトもなくなって、仕事も失って、スクレイパーがデータを得る場所もなくなって、正当なユーザーが無料でデータを得る場所もなくなるってことだ。