ハクソク

世界を動かす技術を、日本語で。

AIスクレイパーのせいで、私たちは良いものを手に入れられない

2026年1月14日原文(blog.metabrainz.org)

概要

Anubis は、AI企業による ウェブサイトの過剰なスクレイピング からサーバーを守るための Proof-of-Work方式 の保護システム。 ユーザーには一時的な 負荷 がかかるが、 大量アクセス に対して効果的。 将来的には 正規ユーザーの判別精度 を高め、Proof-of-Workページの表示頻度を 減少予定。 JavaScriptの最新機能 が必要で、特定のプラグインは 無効化推奨。 システム導入の 背景や今後の展望 についても説明。

Anubisによるサーバー保護の仕組み

  • Anubis は、サイト管理者が AI企業のスクレイピング対策 として導入する保護システム
  • Proof-of-Work（PoW） 方式を採用し、アクセスごとに 計算負荷 を課す設計
  • Hashcash に着想を得た方式で、 メールスパム対策 にも使われてきた技術
  • 個人ユーザーには 無視できる程度の負荷 だが、大量アクセス時にはコストが増大
  • リソースの過剰消費防止 と 正規ユーザーのアクセス維持 を両立

今後の対応方針とユーザーへの影響

  • PoWページ は仮の対応策であり、将来的には ヘッドレスブラウザの判別技術 を強化予定
  • フォントレンダリング などの挙動から 正規ユーザーと自動化ツール の識別精度を向上
  • PoWページ表示頻度の削減 によるユーザー体験の改善方針
  • JShelter などのプラグインは 最新JavaScript機能を無効化 するため、 無効化推奨
  • 利用者にとっては一時的な アクセス遅延 が発生する可能性

Anubis導入の背景と今後の展望

  • AI企業によるWebリソースの大量取得 問題の深刻化
  • サーバーの ダウンタイム や リソース枯渇 への懸念
  • PoW方式 による応急処置と 恒久的な対策技術 の開発計画
  • 正規ユーザーの利便性維持 と 不正アクセス排除 の両立目標
  • Webセキュリティ と ユーザー体験 の最適化方針

Hackerたちの意見

Cloudflareは、AIスクレイパーを検出して、無限のAI生成のナンセンスページに送るサービスを今提供してるよ。

└

それに関するリンクある？

└

わお、AIスクレイパーからデータを守るためには、すべてのトラフィックを第三者の会社を通さなきゃいけないのか。それで誰が私のコンテンツを見るか決めるって、素晴らしいアイデアだね！

└

現代のスクレイパーはヘッドレスのChromiumを使ってるから、見えないリンクは見えないんだよね。だから、どれくらい効果があるのかは分からないな。

└

残念ながら、Cloudflareは共有接続やVPN、変わったブラウザを使ってるユーザーにとって、体験を台無しにすることが多いんだ。苦情が多すぎて、サイトから外さなきゃならなかったよ。

└

Cloudflareのサービスが必要ない方が、まだマシな体験だよね。

└

Cloudflareにお金を払って免除されるスクレイパー以外はね。

└

解決策は、いつも通り、ノイズだね。

└

Poison Fountain: https://news.ycombinator.com/item?id=46577464

└

cloudflareが、私の人間が運転しているブラウザをいつもブロックするんだよね。「JavaScriptとクッキーを有効にして続行してください」って、サポートされてないブラウザって。

└

"TLSがここで追加され、削除されました :)" というサービスがこの問題に対して正しいツールかどうかはわからないな。

時間が経つにつれて、みんなに共通のクローリングみたいなものを強制するのが解決策だとますます確信してる。バカなDFSスクレイパーがサーバーを100%にしてしまうのは嫌だけど、普通の人がウェブをスクレイピングできる状態に戻したい。クラウドフレアが登場する前のように、もっと簡単にスクレイピングできるように。もしかしたら、タイムスタンプ付きのデータダンプへのリンクを含む新しい/.well-known/パスを作ることで合意できるかもね。

Hacker Newsで議論の続きを見る