ハクソク

世界を動かす技術を、日本語で。

AIがドリトスの袋を武器と誤認したため、武装警察が学生を取り囲む

214日前原文(dexerto.com)

概要

  • AI監視技術 の信頼性と安全性に関する懸念の高まり
  • 高校生がAI誤検知 で武装警官に取り押さえられる事件発生
  • Omnilert社のAI銃検知システム による「誤検知」とその対応
  • 生徒や保護者の不安 と学校側の対応不足
  • AI導入拡大の中での社会的議論 の活発化

AI監視技術による誤検知事件と学校現場の混乱

  • Kenwood High School （Baltimore）でのAI誤検知事件発生

    • 16歳の生徒 Taki Allen が放課後、友人と談笑中に事件発生
    • AI銃検知システム が Doritosの袋 を銃と誤認識
    • 警察が 8台以上のパトカー で現場急行、Allen君を 銃口を向けて拘束
    • Allen君は 手錠をかけられ、所持品検査 されるも、何も発見されず
    • AIによる誤認識画像 を警察が本人に提示、「これは銃ではなくチップス」と説明

  • 生徒の精神的ショック と学校への不信感

    • Allen君は「 もう学校に戻りたくない」と発言
    • 「 またチップスを食べても警察が来るのでは」という不安
    • 学校や関係者からの謝罪や直接的な説明なし
    • Allen君：「 プロトコル通り と言われただけで、誰も話しかけてこなかった」

Omnilert社と学校側の対応・説明

  • Omnilert社のAI銃検知技術

    • 既存監視カメラ映像をAIが解析 し、銃を検知した場合は警察に即時通報
    • Omnilert社は「 誤検知（False Positive）」を認めつつ、「 システムは意図通り動作」と主張
    • 「 迅速な人間による確認 で安全と認識向上を優先」と説明
    • 「 即時銃検知・誤検知率ほぼゼロ」とうたうが、現実との乖離が浮き彫り

  • 学校側の対応

    • 保護者宛てに「 カウンセリングサービス提供」を通知
    • 「 関係生徒への直接的支援」と説明
    • しかし、 当事者への個別対応や謝罪は皆無

AI監視技術拡大と社会的課題

  • AI監視ツールの信頼性・安全性 に対する疑問

    • 学校現場での実運用の課題 と生徒・保護者の不安拡大
    • 誤検知による人権侵害や心理的被害 のリスク
    • AI導入拡大の流れ と現場の混乱

  • 他分野でのAI活用拡大

    • 米陸軍幹部 Major General William ‘Hank’ Taylor が ChatGPT を意思決定に活用
    • 英国では 年齢確認AI 導入、顔認証で成人認証を義務化
      • 顔のタトゥー で認証不可となる事例（Britain’s most tattooed man）

  • AI技術と社会的合意形成の必要性

    • AIの精度・透明性・説明責任 の確保
    • 誤作動時の迅速な対応と被害者支援
    • 現場の声を反映した運用見直し と継続的な社会的議論

Hackerたちの意見

「迅速な人間確認。」銃を突きつけられて。トーメント・ネクサスなんて、このAIスタートアップには敵わないね。

└

なんで確認に時間を無駄にしたんだろう？警察は危険が起こる前に排除すべきだったよ。人を守るためには秒が大事なんだから。

└

dispatch relayerと対応する警官は、AIアラートを引き起こした生の映像や画像を見られる画面にすぐアクセスできるべきだよ。もし誤報なら、よりよく確認して適切に反応できるし、実際の脅威なら初期の状況や誰が関与しているかを理解しやすくなる。

└

次は、ロボットじゃないことを確認するために、スワットして銃を突きつけるキャプチャだね。

オムニラートは後にこの事件が「誤検知」だったと認めたけど、システムは「意図通りに機能した」と主張してる。目的は「迅速な人間確認を通じて安全と認識を優先する」ことだって。そんなシステムが設置されてる場所には行かないことで、自分の安全を優先した方がいいよ。AIが誰かを「スワット」したんだから。

└

企業版の「それはバグじゃなくて機能です。」

└

今日、これを言っておく。この会社は無実の子供たちを危険にさらすことになるよ。学校にはどれだけのツイズラーやドリトス、スニッカーズがあると思ってる？最初に何か起こったら、抗議が爆発的に起こるだろうね。特に今は、システムが機能していないのに当局が使い続けていることが知られているから。今は本当に悪いアイデアだよ。技術がまだそこまで達してないんだから。

TSAのスキャナーを通るとき、いつも引っかかるんじゃないかって不安になる。 cargoパンツのジッパーポケットが原因で、50%の確率で引っかかるんだ。中には何も入ってないのに、スキャナーは嫌がるんだよね。今度はランダムに設置されたAIセキュリティカメラの前を通る特権を得るわけだけど、引っかからないことを祈るばかり。こういうグローバルなボディチェックで儲けが出るから、どんどんシステムを導入しようってプレッシャーがかかる。これ、どうやって制御できるの？

└

飛行機に乗るとき、TSAのセキュリティの無駄な作業に合わせて服装を調整してるけど、他の公共の場所に行くときもそうなるのはいつになるんだろう。（プロスポーツの試合や大きなコンサートに行くときも、そうなるだろうな）

└

TSAのスキャナーは、股間の汗にも簡単に反応するんだよね。

└

うっかり隠し持ちの許可証を見せちゃって、運転免許証じゃなかったから引っかかった。地元政府のコンサルタントとして働いてて、オースティンに戻るところだって言ったら、問題なしだったよ。

└

賄賂を払ってセキュリティのスキャナーをスキップしちゃえばいいじゃん。安いし、ほとんどの旅行カードも返金してくれるよ。

└

市民の皆さん、声を上げよう！州の議員にメールを送って、自分の意見を伝えよう。ほとんど誰もやらないから、数百人がやれば注目されるよ。思っているより少ない人数で済むからね。見知らぬ人たち（つまり一般市民）と調整するのは難しいから、文化の中で声を上げることを普通にするのが一番効果的だよ。もちろん、普通にすることで反応率は上がるけど、それが徐々に効果を減らすことになる。でも、今の無関心な状態よりはずっといいよ。

└

公平に言うと、カーゴパンツを履かない選択肢はあるよね。友達が一度、スキャナーを通った後に追加チェックで引き止められたことがあったんだ。俺を待ってたから、ゲートに一緒に行こうとしてたんだけど、エージェントが「たむろしてる」と思ったみたいで… 彼の民族性を想像してみて。

└

TSAに二次検査で引き止められるのと、銃を突きつけられて地面に伏せろと言われるのは全然違うよ。特に、無実の被害者が黒人男性だったら、撃たれる理由を見つけるために被害者を悪者に仕立て上げるだろうし。実際、無実の被害者が撃たれても、何の結果も出ないかもしれないし。

システムは「意図通りに機能した」 ほら、リアルな「ホットドッグじゃない」システムの例だよ。ただし、これは銃/銃じゃないっていうやつ。シリーズのフィクションの方がもっと正確だったけどね…

ああ、パランティアの全視点プラットフォームの時代が来るね。そしてピーター・ティールが影の皇帝になる。非決定論的な機械学習システムは、社会の重要な部分に誤って適用されると命を危険にさらすエラーが起こるのが残念だ。でも、権威主義的な国家では、そういうのは隠されるから、ここには何もないよ：さあ、通り過ぎて。監視と権威主義は手を組むから、中国に聞いてみて。こういう方法に抗議して、立法者に行動を促すことが大事だよ；今、手遅れになる前に。

└

何か見落としてるかもしれないけど、この記事はパランティアやその製品についてじゃないと思う。

こういうのって、どこかの会社がオープンソースの物体検出モデル（例えばYOLO）をうまく金に変えた感じがする。簡単に組み合わせられるものを作って、先進的なAI機能として売り出したんだろうね。（少なくとも微調整してるか、良いトレーニングデータセットを持ってることを願いたい。）今、誰かの命を危険にさらすモデルが出てきたけど…その会社以外に、実際にどれくらい正確なのか知ってる人いる？何でトレーニングされたのか？誤検知率は？こういうものを導入するなら、統計や数字を公開するのが義務付けられるべきじゃない？モデルについてもっと知るために、何でトレーニングされたのかを知る必要があるよね。

「“捜索を受けた個人や、その場にいた他の生徒たちがどれほど不安を感じたか、私たちは理解しています。”と校長は書いています。“私たちのカウンセラーが、関わった生徒たちに直接サポートを提供します。”」 直接のサポートやカウンセリングじゃなくて、偽陽性のせいでお金を払わせるべきだよ。この技術はまだ実用化には早すぎる。学校みたいな公共の場じゃなくて、実験室にいるべきだ。

└

偽陽性のためにお金を払わせるべきだ、直接的なサポートやカウンセリングじゃなくて。賛成だね。 > この技術は実用化にはまだ早い。こんなことが起こるのは誰も望んでないけど、ほとんどの技術にはリスクがあるよね。俺は、1回の偽陽性がそのメリットを上回るとは思わない。偽陽性と真陽性の割合、そしてそれぞれの（主観的な）価値によるけど、今回はどちらも高いと思う。ただ、1回の銃撃を防ぐことの価値は、無実の人が不必要に銃を突きつけられるのを防ぐことよりも明らかに大きいと思う。

└

お金を払わせるべきだ。 すでに、時間とリソースが誤用されるためにお金がかかってるんだよ。辞任や懲役が必要だね。

Omnilertは後にこの事件が「偽陽性」だったと認めたけど、システムは「意図通りに機能した」と主張してるんだって。目的は「迅速な人間確認を通じて安全と意識を優先すること」だそうだけど、結局、銃を持った人たちが「あるティーンが銃を持っている」と言われる状況を作り出しただけだよね。何もないところから非常に危険な状況を生み出した。しかも、そのティーンはトラウマを抱えるかもしれない。これもまた危険だよね。ちなみに、この記事の引用は、このティーンがこの技術製品を売ったり買ったりした誰よりも大人に聞こえる。

└

そして、そのティーンはトラウマを抱えるかもしれない。うーん、それが本当の危険じゃないんだよね。危険なのは、将来的に誰かが殺されるのが明らかだってこと。これは単なる可能性じゃなくて、システムの仕組みから考えても確実なことだよ。この技術はこんな使い方をするためのものじゃない。まだ準備ができてない。

└

https://www2.ljworld.com/news/schools/2025/aug/07/lawrence-s... これもまた、学校が使う主要なコンテンツフィルターの偽陽性だよ。子供がグループチャットでバカなことを言ったら、AIがそれを学校に報告して、学校が警察に連絡したんだ。子供は逮捕され、全裸での捜索を受け、親や弁護士に連絡することもできずに24時間拘束された。結局、保護観察に入ったり、メンタルヘルスの評価を受けたり、しばらくの間代替学校に通わなきゃいけなかった。Gaggleを訴えてるけど、彼らは自分たちのシステムがそんな風に使われるつもりはなかったと言ってる。こういう偽陽性は本当に多いよ。俺は彼らの競合（Lightspeed）で面接を受けたことがあるけど、実際には人間がすべてのアラートを確認してから学校や当局に転送する有料サービスを提供してる。これは有料の追加サービスだけどね。

└

実際には「AIが群がってる」って感じだね。人間の推論はなくて、実行だけが行われてる。基本的にAIがリソースを指揮してるってこと。

└

どんなシステムにも偽陽性と偽陰性があるよね。ある状況（例えば、高い再現率の病気検出）では、偽陰性の方が偽陽性よりもずっと悪いことがある。偽陽性のコストは、より厳密なスクリーニングになるから。でもこの場合、どちらも悪い。偽陰性だったら、学生はもっと悲惨な理由でセラピーが必要になるかもしれない。検出モデルの質を向上させるだけじゃなくて、両方の失敗モードの「コスト」をできるだけ減らす努力も必要だね。人間を介入させたり、二次チェックを設けるのがその方法だよ。

ジョン・ブライアン（The Civil Rights Lawyerとしてコンテンツを制作している）には、何か言うことがあると思うよ。彼は、薄っぺらな情報に基づいて警察が人を銃で脅すことの合法性を頻繁に批判してるからね。法律ではそれは力の行使と見なされて、正当化が必要なんだ。例えば、彼は「高リスク」の車両停止についていくつかの動画を作っていて、誤って盗難車としてフラグが立てられた車が、乗っている人たちを銃で地面に伏せさせることになったりする。俺の意見としては、AI自動システムと「人間が介入する」警官がその画像を見て、そこに映っているものが銃だと合理的に信じたなら、その停止は正当化されるかもしれない。でも、もし自動システムが画像を確認する前に警官を出動させただけなら、それはあまりにも合理的な正当化とは言えない。

└

いつか、裁判所で弁護士がAIの証拠がどれほど強力だったかを語る日が来るだろうね。企業がそれに数十億ドルを投資してるから。

└

正当な理由なしに力を使うのは、自動的に過剰な力になるの？それともグレーゾーンがあるの？

モデル、かなりひどいみたいだね。フレームごとにしか見てないの？1秒の動画コンテキストがあれば、そんな間違いは絶対にしないと思う。