ハクソク

世界を動かす技術を、日本語で。

誰かが「ClaudeBot」のようなAIボットを偽装して、大規模な脆弱性スキャンを実行しています。

2026年8月12日原文(knownagents.com)

概要

  • 5,000以上のWebサイトのエコシステム指標を分析
  • Botと人間のトラフィック動向やAI関連ボットの増加傾向
  • AIスクレイピング、AIアシスタント、AI検索インデックスの活動状況
  • トップエージェントや最も訪問されたカテゴリのランキング
  • robots.txtによるボット制御の有効性

エコシステム全体の主要指標

  • Bot vs. Humanトラフィック ：全トラフィックの 35% がボット由来、前四半期比 2%減少
  • Agentrification（AI関連ボット比率） ：全ボットの 28% がAI関連、前四半期比 11%増加
  • AIチャットリファラルボリューム ：人間のWeb訪問の 0.1% がAIチャット経由、前四半期比 9%減少
  • robots.txt遵守率 ：ボットによる robots.txt ルールの遵守率 98.5%

ボットタイプ別トラフィックと主なエージェント

  • AI Agent ：人間の代わりにブラウザ操作を自動化するエージェント
  • AI Assistant ：ユーザーの質問に答えるためWebコンテンツを取得
  • AI Coding Agent ：ソフトウェア開発支援のためドキュメント等を取得
  • AI Data Provider/Scraper ：AIシステム向けに構造化データや学習データセットを収集
  • AI Search Crawler ：AI検索結果のためWebページをインデックス化
  • SEO Crawler/Security Scanner ：SEO最適化やセキュリティ診断のための巡回

トップ訪問ボット例

  • bingbotSRCH （8.2%）：検索エンジンクローラー
  • GooglebotSRCH （7.9%）：検索エンジンクローラー
  • AhrefsBotSEO （6.2%）：SEOクローラー
  • ChatGPT-UserASST （3.3%）：AIアシスタント
  • ClaudeBotSCRP （3.2%）：AIデータスクレーパー

AIスクレイピング活動

  • AI Data Scraper/Provider ：AIモデル学習やAIサービス向けにWebデータを大量収集
  • トップスクレイピングボット
    • ClaudeBotSCRP （27.0%）
    • meta-externalagentSCRP （19.5%）
    • AmazonbotSCRP （19.2%）
    • GPTBotSCRP （9.4%）
  • 最も訪問されたWebカテゴリ
    • Law and Government （6.0%）
    • Online Communities （5.9%）
    • Home and Garden （5.5%）

AIフェッチ活動

  • AI Assistant/Coding Agent ：リアルタイムでWebコンテンツを取得し、AI回答やコーディング支援を実施
  • トップフェッチボット
    • ChatGPT-UserASST （86.4%）
    • DuckAssistBotASST （3.3%）
    • Perplexity-UserASST （2.7%）
  • 最も訪問されたWebカテゴリ
    • Reference （4.0%）
    • Science （3.7%）
    • Finance （3.4%）

AI検索インデックス活動

  • AI Search Crawler ：AI検索エンジン向けにWebページをクロールし、引用やリンクとして活用
  • トップインデックスボット
    • PetalBotSRCH （25.4%）
    • Amzn-SearchBotSRCH （17.3%）
    • ApplebotSRCH （16.7%）
  • 最も訪問されたWebカテゴリ
    • Travel and Transportation （6.8%）
    • Reference （6.5%）
    • Health （5.6%）

robots.txtによる制御と傾向

  • robots.txt の遵守率は非常に高く、 98.5%
  • 不要なスクレイピング防止策として有効
  • 一部の未分類・未公開目的のAIボットによるアクセスも存在

このレポートは、現代Webエコシステムにおける AIボットの影響力拡大 と、 トラフィックの質的変化、 各種AIサービスの台頭 を示唆する内容となっている。

Hackerたちの意見

リストにあるユーザーエージェントの多くは、実際には偽造されてることが多いよ。どのASNがそのIPを持ってるか調べてみて。ほとんどのVPSプロバイダーをブロックすれば、偽のボットはほとんど消える。住宅や携帯からのものもまだ残ってるけど、これらはハイジャックされたコードを使ってる（実際にはただのリーダーじゃなくて、マルチパーパスプロキシだよ）。その点で、リンクされたソースコードを信じるのはやめて、実際にあなたの電話が動かしてるライブコードを逆コンパイルしてAIに分析させるのがいいよ。

└

そうそう、これらの訪問はまさにそういうことだよ：IP検証やWebボット認証に失敗する偽のユーザーエージェント。面白いのは、先週の間に多くのウェブサイトで急増してることだね。

└

発信元IPアドレスも同じことが言えるね。あなたの国を出るファイバーは傍受されていて、そういう人たちは好きな発信元IPでパケットを注入できる。あなたのISPは、彼らのピアが特定の国から特定のパケットを実際に受け取ったかどうかを確認する方法がないんだ。技術的な観点から見ると、「中国/ロシア」といった帰属はかなり不安定な基盤の上に成り立ってる。システム管理者としては、あなたのヨーロッパの会社を攻撃してるのがイギリスの王室かもしれないってこともわからないよ。国家によるサイバー犯罪を軽視するつもりはないけど、パケットは多くの手を経て、異なるインセンティブを持つ人たちのところを通るんだ。

└

VPSなどからのリクエストを、住宅や商業の正当なユーザーのIP以外で簡単にブロックする方法ってある？ Cloudflareはいくつかのことをやってるけど、nginxやcaddy（リバースプロキシ）でVPSからのリクエストをオリジンサーバーに届かせない方法を見つけたいんだ。

ポート80/443が開いてるサーバーは、毎日無数のランダムなボックスからWordPressのログインページを探すアクセスがあるよ。新しいのは、彼らが別のタイプのうざいボットを装ってることだけ。新しい洗練さや隠れた意図があるけど、結局はいつも扱ってるゴミトラフィックと同じだね。

└

もう一つ興味深いのは、彼らが狙ってるパスだね。新しいAIコーディングツール向けのものが多いよ。

└

ウェブマスターやビジネスオーナーの ego が、実際には何千ものボットにサービスを提供しているだけなのに、得られるトラフィックで満たされているのを考えてみて。

└

ポート80を開けて、世界が無法地帯の戦場だと気づくのは、無邪気なバックエンド開発者やシステム管理者にとっての典型的な洗礼だね。

└

それが合法だと考えられていることにいつも驚くよ。個人的には、家の中のものを盗むために、街を歩き回ってドアが開いているか確認するのと同じだと思うんだよね…。

└

ポート25565が開いてるサーバーは、Minecraftのグリーファーボットからのアクセスか、そのポートを探して警告するボットからのアクセスがあるんだ。世界中のすべてのIPv4アドレスにスパムを送るのに大規模なオペレーションは必要ないよ。2^32個しかないし、その中には多くのアドレスが予約されてるからね。

└

まさにその通り。Googlebotを装ったボットと何も変わらないよ。いろんな外国のホストに悪質なIPを報告してみたけど、何も進展しなかった。結局、過剰に悪質なIPレンジをブラックリストに入れることにした。

平均して、家のルーターには毎分約100件のTCPリクエストが来て、いろんなプロービングやスキャンをしてる。明らかにtelnetポートをチェックしてるね。時々、全く異なるIPの群れがポート範囲全体をスキャンしてるのが見える（ポートを一つずつプローブしてる）。deepfield、censys-scanner、visionheight.com、shadowserver.ioなどがたくさん見えるけど、中国やロシアのIPもいつものようにいるよ。OpenWRTではこんな感じのコマンドを使ってる：tcpdump -i pppoe-wan 'inbound and tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn'、あるいはtcpdump -i pppoe-wan 'inbound and tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn and not port 44000'、トレントクライアントが動いてる場合（例えばポート44000で）結果が狂わないようにね。これが最適な方法かはわからないけど、ルーターで何が弾かれてるかは確かに興味深いよ。

Hacker Newsで議論の続きを見る