世界を動かす技術を、日本語で。

TheNumbers.comに何が起こったのか

概要

  • The Numbers は映画業界で最も信頼されるデータベースサイト
  • 2026年3月、AIボットによる過剰アクセスで 大規模ダウン を経験
  • サイトは 大幅縮小 して再開、機能やページの多くが未復旧
  • 背景には AIによる自動化・予測市場 の発展と悪用
  • インターネットの 脆弱性と今後の課題 が浮き彫り

The Numbersの危機とAI時代のウェブ運営

  • The Numbers は、映画の興行収入・予算・配信情報を網羅する最大級の 映画データベース
    • 78,000本超の映画、236,000人超の人物データを管理
    • 年間800万超の訪問者、業界・学術界・メディアで 権威的存在
  • 2026年3月5日、 TheNumbers.comが突如消失
    • 1週間以上アクセス不可、復旧後も機能大幅縮小
    • 歴史的チャートや個別映画ページ、Report Builderなどが消失
    • 公開されたのは「再構築中」の簡素なメッセージのみ
  • ネット上では 混乱・怒り・陰謀論 が噴出
    • Redditでは「有料サービス誘導のための計画的閉鎖」説も浮上

サイト消失の背景とAIボットの脅威

  • 創業者Bruce Nashが語る、 AIボットの2つの波
    • 2024年頃からAI学習用クローラーが急増
    • 2025年末からは「エージェンティックAI」=プロンプトに応じて自動で情報収集するAIエージェントが激増
  • 人間の閲覧は全体のわずか10%、残りはAIボットや自動化トラフィック
  • サイト運営の90%が「現状維持のための対応」に費やされる状況
  • サイトは 30年分・16万ファイル のレガシー構造
    • AIボットによる大規模なスクレイピングと脆弱性探索が常態化
  • 3月5日未明、 サーバーがついにダウン
    • ログ解析で「正規URL経由のアクセス」や「裏口探し」など攻撃的挙動も確認
    • サイバーセキュリティ専門家の助言で旧サーバーは封印

予測市場とデータ争奪戦

  • The Numbers のデータはPolymarketなどの 予測市場 で「公式ソース」として利用
    • 週末興行成績が市場決済の根拠となり、早期データ取得が「取引の優位性」を生む
    • AIによる自動取引・情報先取りが現実に
  • AIツールによるサイバー攻撃の低コスト化
    • Anthropicのレポートでも「AI主導のサイバースパイ活動」の事例が報告
    • 技術スキルが低くてもAIで複雑な攻撃が可能に
    • 旧来の小規模サイトが標的になりやすい構造

サイト再構築と今後の課題

  • バックアップ復元は不可能 と判断し、機能を絞った新サイトを構築
    • 16万ファイルの防御は現実的でなく、段階的な機能復旧を選択
  • 公開サイトの「利用者像」が激変
    • 人間、検索エンジン、LLM学習、プロンプトAI、エージェンティックAI、予測市場トレーダーという 6つの異なるオーディエンス
    • デザインや運用の要件が大幅増加
  • 収益の柱は OpusDataサービスBusiness Report など法人向けデータ提供
    • 一般向けサイトは今後も無料で提供予定だが、 運営負荷とコストは増大

オープンウェブの終焉とAIクローラー問題

  • AIクローラーの爆発的増加 により「読者を連れてくる」従来のWebの原則が崩壊
    • Googleは1人の訪問者ごとに5ページをクロール、OpenAIは1,000ページ超、Anthropicは38,000ページ超
    • 小規模サイトにとっては 帯域コストやサーバーダウンのリスク が現実に
  • ウェブ全体の脆弱性と持続可能性 への警鐘
    • AI時代のウェブ運営には「守るためのコスト」と「新たな価値提供」の両立が不可欠

The Numbers事件は、AI時代のインターネット運営が直面する新たな現実と課題を象徴 今後は「人間のためのウェブ」と「AIのためのウェブ」のバランスが問われる時代へ

Hackerたちの意見

遠くから見ると単純化しすぎかもしれないけど、このサイト、特に無料で公開されている部分は、静的サイトジェネレーターやフレームワークを使って書き直すのに理想的な候補に見えるね。それに、ボット対応のCDNを組み合わせれば、これから何年も合理的なコストでオンラインを維持できるはず。そうじゃなければ、彼らの古いアーキテクチャと新しいアーキテクチャについてもっと知りたいし、サイトを維持するためにどんな対策やスケーリング戦略を使い始めたのか気になるな。

そうだね、これは優れたセキュリティモデルを作るのが一番簡単なアクセスモデルの一つに見えるよ。基本的には静的な公開だからね。リライトが必要だったみたいだし!ちょっと大変そうに思えるけど、正直言って今の時点ではLLMの助けを借りれば週末の作業で済む気がする。軽い気持ちで言ってるわけじゃないよ!

それか、キャッシュを使えばいいんじゃない?

この問題は20年前にVarnishキャッシュやCoralキャッシュ/CDNで解決されてたんだよね。実際に起こってることは、ボットが最近のウェブサーバーの性能不足を暴露してるってことだと思う。2000年代には、たとえ設計が悪いPHPサイトでも、1秒あたり200リクエストは処理できてたし、静的サイトなら1000以上は普通だった。Node.jsが出たとき、協調スレッドモデルのおかげで10万RPSも処理できるって言ってたのを覚えてる。でも今は、ORMやN+1問題のせいで、数百から数千のデータベースクエリを実行するから、レスポンスタイムが500ms以上になることもあって、1000人の同時ユーザーでもサーバーがストレスを受ける。問題なのは、ロシアの入れ子キャッシュみたいなものをプログラミング言語やデータベースとは別に一般的に解決できていないこと。Etagヘッダーをキーにして依存関係グラフを作る方法が必要だったし、依存データの実際のキャッシュ無効化も必要だった。10年前にLaravelのタッチイベントを使って、クラスモデルデータがデータベースに保存されたときにキャッシュ無効化を処理するコールバックを使ってその穴にハマったことがある。Redisを使ったクエリキャッシュもあったけど、データベースレベルでうまく処理されてたかもしれない。あの経験から言えるのは、キャッシュ無効化は正しくやるのが本当に難しくて、実質的にオープンな問題だってこと。だから、プログラマーは手作りするんじゃなくてパッケージを使うべきだし、最初から大きな関心事にするべきだよ(ユーザーIDでシャーディングするか、Firebaseみたいなものを使うのと同じように)。ウェブは本来P2Pのコンテンツアドレス可能メモリであるべきだったって話は置いといて、ほとんどのものは近くのエッジピアから入手できるべきだよね、BitTorrentみたいに。でも、HTTPS/SSLでそれをどうやって実現するかを誰も気にしなかった。ブラウザのセキュリティモデルの初期の欠陥が関係してると思う。ページ全体がHTTPSの背後にある必要があって、そうじゃないと警告が出るから。だから、個人を特定できる情報(PII)と単なる公開データがHTTPSで提供されているのかが明確じゃなかった。これを本当に解決するには、実際の信頼ネットワークやゼロ知識証明が必要かもしれない。これらの問題は修正するのがとても難しいから、大企業は自分たちが梯子を引き上げた後にそれをやる気がない。だから、当面は「あなたは人間ですか?」みたいなつまらないチャレンジ画面に悩まされることになりそう。

この記事のポイントを見落としてる人が多いと思う。単にエージェントがサイトを攻撃してるだけじゃなくて、悪用できる脆弱性が潜んでるかもしれないからダウンしたんだよね。それでデータが少なくなったりデザインが簡素化されたりした。記事によると、悪意のあるユーザーが予測市場の賭けで優位に立つために特権アクセスを得ようとしてるみたい。記事からの引用: 「もし他の誰よりも先にThe Numbersのデータを毎週見られたら、他のトレーダーに対してかなりの優位性を持てるだろう。発表の少し前に答えを知ることができれば、取引を先回りできるから。」

懐かしいな。2015年にApplaudienceを始めたんだけど、その時はリアルタイムの映画チケット販売データを提供している唯一の会社だった。TheNumbers.comと数字を比較して調整してたのを今でも覚えてる。今は他のビジネスに移ったけど、これが自分が開発した技術の中で一番好きなものの一つなんだ。いつかまた復活させたいな。

数年前、COVID-19パンデミック中にアメリカ政府が小企業に提供した全ての助成金を公開するウェブサイトを運営してたんだ。それに、司法省が起訴している詐欺ローンも追跡していて、誰でも公開データセットに対して構造化クエリを実行できるようにしてた。サイトの生涯で約2千ドルの寄付を集める「寄付」ボタンもあったし、約10GBの圧縮されていないデータセットを無料で直接ダウンロードできた。トップページに「全データをダウンロード」リンクが目立つように置いてあったのに、AIスクレイパーは検索エンドポイントのすべての可能な側面をページネーションして、テラバイト単位の生HTMLをダウンロードする方が効率的だと判断したみたい。CloudFrontでキャッシュして、かなり効率的なバックエンドを設定しても、月々の請求はネットワークの入出力だけで約1千ドルになったから、翌月にサイトを閉じたよ。

AWSでの構築は、まるで金融的な時限爆弾みたいだね。

BigQueryには「パブリックデータセット」があるから、ユーザーはそれに対して複雑なSQLを実行できるけど、支払うのはユーザーであって、あなたじゃない。あなたが支払うのはデータストレージだけだよ。

AIのスクレイパーが、既存のクローラー(例えば検索エンジン)よりも重い負荷をもたらした理由について、何か見解はある?もっと徹底的だったのか、それとも頻繁だったのかな?

「あるRedditの理論では、無料のサイトを潰して有料製品に人を誘導するための意図的なラグプルだったとさえ言われている。」これが記事の本筋ではないのは分かってるけど、これについてずっと考えてる。もっとリソースがこういう方向に行くのを見ることになるのかな。昔はオープンソースソフトウェアとしてちょっとしたものを公開してたんだ。画期的なものだったわけじゃなくて(全然そんなことはないけど)、自分が問題を抱えていて、「他の誰かも似たような問題を抱えていて、私のリソースを使ってくれたらいいな」と思ったから。でも今は、無料のウェブにもっとものを提供するのに本当にためらってる。スクレイピングされて、後でマネタイズされるトレーニングデータの山に加えられるっていうのが、すごく気に障るんだ。こういうサイトの管理者や、他の無料だけど非常に役立つリソースの管理者がイライラするのも分かるよ。

この態度は全く理解できない。君も他の人と同じように「トレーニングデータ」から利益を得てるんだから。もし得てないなら、それは君の問題であってAIモデルの問題じゃない。AIはまさに君が言ってるメタ問題を解決するんだ。「問題があって、一回限りのユーティリティプログラムを作る必要があった。」今は無駄な一回限りのものを書く以外のことができるようになった。トレーニングデータをマネタイズすることについては、(a) 重みを生成するのに数億ドルかかるから、投資して研究した企業を妬む必要はないよね?; そして(b) 君のユーティリティが何をするにしても、GLM 5.2のようなオープンウェイトモデルが君のハードウェアを使って無料でそれを生成できるから、誰にもお金を払う必要はないんだ。まあ、nVidiaには払う必要があるかもしれないけどね。そこは認めるよ。

Hacker Newsで議論の続きを見る