ハクソク

世界を動かす技術を、日本語で。

住宅用プロキシとスクレイパーの状況に関する最新情報

2026年7月11日原文(lwn.net)

概要

  • AIスクレイパーボット によるウェブサイトへの攻撃が増加傾向
  • Residential proxies を利用した分散型攻撃の実態
  • サイト運営者による 防御策 とその課題
  • 業界全体の倫理的責任の欠如
  • インターネットの オープン性維持 への懸念

AIスクレイパーボットの脅威と現状

  • 大規模言語モデル （LLM）の学習データ収集目的によるウェブスクレイピングの増加
  • 数百万の ユニークIPアドレス からの短時間・分散型リクエスト
  • ボットは人間のアクセスを装い、 ユーザーエージェント偽装 などで識別困難
  • 画像やCSSを取得しないなどの特徴を持つが、特定時には既にIPが切り替わっている
  • 主な発信源は Residential proxies やモバイルネットワーク

Residential proxiesの実態

  • コマンド&コントロールノード による分散型攻撃指令
  • 家庭用PCやスマートフォン、 メディアストリーミングデバイス が無断利用されるケース
  • Bright Data のような「合法性」を装う事業者も存在
    • 無料VPNやSDKを通じてユーザー端末をネットワークに組み込む手法
    • アプリ開発者への金銭的インセンティブ提供
  • 「 GDPR準拠」などを謳う一方で、実態は不透明・倫理性に乏しい
  • これらネットワークはスクレイピング以外の悪用リスクも内包

スクレイピングの依頼主と動機

  • 表向きのLLM開発企業 は自社でクローリングし、robots.txt等を遵守する傾向
  • 大規模なResidential proxies利用の背後にいる主体は不明
    • 独自モデル開発を目指す企業
    • 各国の 政府機関 や犯罪組織
  • AI技術の「 兵器化」とアームズレース化
  • インターネット全体が被害を受ける構図

サイト運営者の防御策と課題

  • Anubis によるProof of Work要求などの対策が普及
  • 商用サービスや CAPTCHA による「人間認証」
  • ログインゲートやペイウォール導入の増加
  • iocaine などのデータポイズニングツールの利用
  • これら対策による「 ユーザー体験の悪化」や運用コスト増大
  • LWNでは遅延や不便を避けるため、Anubis等を未採用
    • 正規の検索エンジンやInternet Archive等への配慮
    • 攻撃時は匿名ユーザーのみ限定的な制限を実施
    • サイト最適化と高負荷時のリソース節約策を併用

業界・社会の対応と今後の展望

  • GoogleとFBI によるNetNutネットワーク摘発事例
    • 一時的な攻撃減少も、根本的解決には至らず
  • アプリストアの審査体制不備がResidential proxies蔓延の一因
  • 恒久的な解決策 の模索が急務
  • 業界による「 倫理的最低基準」の確立の必要性
  • インターネットのオープン性と創造性維持への強い危機感
  • 独立系サイト運営者による抵抗と今後も続く「防衛戦」

要点まとめ

  • AIスクレイパーボットの攻撃は今後も増加が予想され、 Residential proxies の悪用が深刻な問題
  • サイト運営者は多様な防御策を講じるが、 ユーザー体験との両立 が難題
  • 業界全体での 倫理的責任 や法規制の強化が求められる状況

Hackerたちの意見

コメントが今は表示されてないけど、匿名ユーザーにまだ表示されてた時には、https://commoncrawl.orgへのリンクがあったんだ。エージェントがウェブサイトにアクセスするのを心配してるんだけど、fetch_urlエージェントツールを作って、ウェブにアクセスする前にまずcommon crawlをチェックするようにできないかな？

└

彼らの最小データセットだけでも圧縮して6TBあるみたい。エージェントの一部として送るのは無理だよね。でも、もし誰かがそれを全ユーザーに分散させるfetch_urlツールを作ったら、試してみたいな。多分、bittorrentやIPFSの上にレイヤーを重ねる感じでできると思う。

解決策はもっと良いcommon crawlだと思う。フロンティアAIラボが情報にアクセスできないようにするのもいいけど、情報のアクセス可能性の基準をリセットして、これらのラボに対する優位性を減らすべきだよね。反スクレイピングの言説がオープンウェブを傷つけて、Cloudflareみたいな企業が権限を持つことになるのが心配だ。

└

同意するよ。もし最新のデータがどこかで無料で手に入るなら、ハッカーにお金を払ってスクレイピングする理由はないよね。ウェブサイトの運営者が新しいデータをcommon crawlデータベースに「プッシュ」するようにできるかもしれない。スクレイパーたちは、Xドメインをスクレイピングしても価値がないことを学ぶだろうし、データが他のところで簡単に手に入るから。

└

フリーネットみたいなのが流行るいいタイミングな気がする。

└

本当に混乱するのは、みんなが「企業がAIのトレーニングのためにデータを集めてるからだ」って言うことなんだよね。それなら、なんで同じページを1日に何千回もスクレイピングする必要があるの？ 編集: 記事には「1時間に数百万回」って書いてあるけど、マジで！？ 記事もこれに驚いてて、地下のAIラボが関わってるかもしれないって推測してるけど…数百万もあるの？それとも、金持ちで設定がめちゃくちゃなスクレイピング環境を持ってるところが一つあればいいの？

└

皮肉なことに、2023年初頭には多くのウェブサイトがCommon Crawlをブロックするために手を尽くしてたよ。予想通り、スクレイピングは個々のアクターにシフトしたけど、以前の研究ではCCのダンプをダウンロードして処理するのが解決策だったんだ。

└

参加したい人もいると思う。AIラボにデータをキャプチャしてもらいたい人や、妥協の一環としてね。でも、そのアプローチには欠陥がある。スクレイピングをしてる人たちは、すべてを欲しがってるみたいだ。一部の人は、自分のデータをLLMにキャプチャされたくないと思ってる。コモンクローリングがあれば、そういう人たちがオプトアウトしたり、キャプチャされるデータを制限したり、データを毒するのが簡単になるんだ。（断片化を避ける唯一の方法は、クローリングがオープンで同意のもとに行われることだと思ってる。）それから、クローリングとホスティングの費用を誰が払うのかって問題もある。データセットへのアクセスを課金することもできるけど、それだと他の人が自分のデータセットを開発して売ることを促すだけだよね（特に、そういうデータセットに興味がある人は秘密にしたいだろうし）。

これがどれだけのトラフィックを生んでいるのか、気になるな。人々のエージェントがウェブツールを使って検索やフェッチをしてるせいで、一般的なインターネットのトロールとは違うんじゃないかな。

└

それはほとんどないよ。もし何百万のIPが体系的に自分のURLスペースを攻撃してるのを見たら、背後に中央制御ノードがあるのは明らかだよね。

└

クライアントの検索エンドポイントにランダムなIPがたくさんアクセスして、ユーザーの質問みたいなものを送り込んでるログを見たことがあるよ。もちろん、役に立つものは何も返ってこなかったけど、かなりの負荷をかけて、サイトがダウンする原因にもなってた（WordPressの標準検索が好きだね）。トレーニング会社が実際のユーザーのクエリや合成されたクエリを使って、サイト検索から何を抽出できるかを試してるんじゃないかな。

└

見たことある有名なウェブツールは、自分たちが誰かをすごく正直に言ってることが多いよ。スクリプトを書くときも、ユーザーエージェントを使って自分たちをしっかりアピールしてる。大体そのツールは問題ないんだけど、ランダムに選ばれた5つの一般的なChromeやFirefoxのユーザーエージェントで連続してスクレイピングして、アフリカや南アメリカの住宅IPをサイクルさせてるやつが問題なんだよね！

Hacker Newsで議論の続きを見る