世界を動かす技術を、日本語で。

AIがドリトスの袋を武器と誤認したため、武装警察が学生を取り囲む

2025年10月24日原文(dexerto.com)

概要

  • AI監視技術 の信頼性と安全性に関する懸念の高まり
  • 高校生がAI誤検知 で武装警官に取り押さえられる事件発生
  • Omnilert社のAI銃検知システム による「誤検知」とその対応
  • 生徒や保護者の不安 と学校側の対応不足
  • AI導入拡大の中での社会的議論 の活発化

AI監視技術による誤検知事件と学校現場の混乱

  • Kenwood High School (Baltimore)でのAI誤検知事件発生

    • 16歳の生徒 Taki Allen が放課後、友人と談笑中に事件発生
    • AI銃検知システムDoritosの袋 を銃と誤認識
    • 警察が 8台以上のパトカー で現場急行、Allen君を 銃口を向けて拘束
    • Allen君は 手錠をかけられ、所持品検査 されるも、何も発見されず
    • AIによる誤認識画像 を警察が本人に提示、「これは銃ではなくチップス」と説明
  • 生徒の精神的ショック と学校への不信感

    • Allen君は「 もう学校に戻りたくない」と発言
    • またチップスを食べても警察が来るのでは」という不安
    • 学校や関係者からの謝罪や直接的な説明なし
    • Allen君:「 プロトコル通り と言われただけで、誰も話しかけてこなかった」

Omnilert社と学校側の対応・説明

  • Omnilert社のAI銃検知技術

    • 既存監視カメラ映像をAIが解析 し、銃を検知した場合は警察に即時通報
    • Omnilert社は「 誤検知(False Positive)」を認めつつ、「 システムは意図通り動作」と主張
    • 迅速な人間による確認 で安全と認識向上を優先」と説明
    • 即時銃検知・誤検知率ほぼゼロ」とうたうが、現実との乖離が浮き彫り
  • 学校側の対応

    • 保護者宛てに「 カウンセリングサービス提供」を通知
    • 関係生徒への直接的支援」と説明
    • しかし、 当事者への個別対応や謝罪は皆無

AI監視技術拡大と社会的課題

  • AI監視ツールの信頼性・安全性 に対する疑問

    • 学校現場での実運用の課題 と生徒・保護者の不安拡大
    • 誤検知による人権侵害や心理的被害 のリスク
    • AI導入拡大の流れ と現場の混乱
  • 他分野でのAI活用拡大

    • 米陸軍幹部 Major General William ‘Hank’ TaylorChatGPT を意思決定に活用
    • 英国では 年齢確認AI 導入、顔認証で成人認証を義務化
      • 顔のタトゥー で認証不可となる事例(Britain’s most tattooed man)
  • AI技術と社会的合意形成の必要性

    • AIの精度・透明性・説明責任 の確保
    • 誤作動時の迅速な対応と被害者支援
    • 現場の声を反映した運用見直し と継続的な社会的議論

Hackerたちの意見

「迅速な人間確認。」銃を突きつけられて。トーメント・ネクサスなんて、このAIスタートアップには敵わないね。

なんで確認に時間を無駄にしたんだろう?警察は危険が起こる前に排除すべきだったよ。人を守るためには秒が大事なんだから。

dispatch relayerと対応する警官は、AIアラートを引き起こした生の映像や画像を見られる画面にすぐアクセスできるべきだよ。もし誤報なら、よりよく確認して適切に反応できるし、実際の脅威なら初期の状況や誰が関与しているかを理解しやすくなる。

次は、ロボットじゃないことを確認するために、スワットして銃を突きつけるキャプチャだね。

オムニラートは後にこの事件が「誤検知」だったと認めたけど、システムは「意図通りに機能した」と主張してる。目的は「迅速な人間確認を通じて安全と認識を優先する」ことだって。そんなシステムが設置されてる場所には行かないことで、自分の安全を優先した方がいいよ。AIが誰かを「スワット」したんだから。

企業版の「それはバグじゃなくて機能です。」

今日、これを言っておく。この会社は無実の子供たちを危険にさらすことになるよ。学校にはどれだけのツイズラーやドリトス、スニッカーズがあると思ってる?最初に何か起こったら、抗議が爆発的に起こるだろうね。特に今は、システムが機能していないのに当局が使い続けていることが知られているから。今は本当に悪いアイデアだよ。技術がまだそこまで達してないんだから。

TSAのスキャナーを通るとき、いつも引っかかるんじゃないかって不安になる。 cargoパンツのジッパーポケットが原因で、50%の確率で引っかかるんだ。中には何も入ってないのに、スキャナーは嫌がるんだよね。今度はランダムに設置されたAIセキュリティカメラの前を通る特権を得るわけだけど、引っかからないことを祈るばかり。こういうグローバルなボディチェックで儲けが出るから、どんどんシステムを導入しようってプレッシャーがかかる。これ、どうやって制御できるの?

飛行機に乗るとき、TSAのセキュリティの無駄な作業に合わせて服装を調整してるけど、他の公共の場所に行くときもそうなるのはいつになるんだろう。(プロスポーツの試合や大きなコンサートに行くときも、そうなるだろうな)

TSAのスキャナーは、股間の汗にも簡単に反応するんだよね。

うっかり隠し持ちの許可証を見せちゃって、運転免許証じゃなかったから引っかかった。地元政府のコンサルタントとして働いてて、オースティンに戻るところだって言ったら、問題なしだったよ。

賄賂を払ってセキュリティのスキャナーをスキップしちゃえばいいじゃん。安いし、ほとんどの旅行カードも返金してくれるよ。

Hacker Newsで議論の続きを見る