世界を動かす技術を、日本語で。

Axonの「Draft One」AI警察報告書生成ツールは透明性に逆らうように設計されています

2025年7月11日原文(eff.org)

概要

  • Axon Enterprise のDraft Oneは、警察のボディカメラ音声からAIが報告書を自動生成する製品
  • 監査や透明性 を意図的に回避する設計が判明
  • AIと人間がどの部分を書いたか 特定不可能
  • 記録や履歴保存がほぼ存在せず、検証や責任追及が困難
  • 監査機能が極めて限定的 で、利用状況の把握も困難

Draft Oneの透明性と監査回避設計

  • Draft Oneは、 警察官のボディカメラ音声 からAIが報告書を自動生成する製品
  • EFFの調査で、 監査や説明責任を回避する設計 であることが判明
  • 公開記録やマニュアルの調査でも、 AI生成部分と警察官記述部分の判別が不可能
  • AI生成文には 角括弧のプレースホルダー があり、警察官が追加・削除可能
  • 警察官は内容を確認・修正後、 Draft One利用を認める署名 をして報告書提出
  • 編集履歴や原稿保存は一切なし、ウィンドウを閉じるとAI原稿は消去
  • どの部分がAI、どの部分が人間によるものか 記録が一切残らない仕様

監査・検証の困難さ

  • Draft One導入機関では、 AIと人間の区別が不可能な報告書 が作成される
  • 警察官がAI原稿をどれだけ修正しているか、 第三者が検証不可
  • 誤訳や誤解、バイアス、虚偽記載があっても 責任の所在が曖昧
  • 元のAI原稿や編集履歴は一切保存されず、再現や検証が不可能
  • Axon側は「 余計な開示義務を避けるため設計」と明言
  • RMS(記録管理システム)にコピー後、 クラウドやシステム上にデータは残らない

監査ログとその限界

  • Draft Oneの監査機能は 極めて限定的
  • 利用者一覧やAI生成報告書の一覧出力機能は原則なし
  • 出力可能なログは、 Draft One請求や同意書署名の記録のみ
  • 個別警察官や報告書単位で 手作業でログ確認が必要
  • 数百~数千件のログ確認が必要な場合もあり、 実質的な監査は困難
  • AI共著報告書のリスト作成も 運用によっては不可能

Draft One導入による懸念点

  • 真実性や説明責任の不透明化
    • AIが誤解やバイアスを含む文章を生成し、警察官が修正しない場合、 責任の所在が不明確
    • 不適切な表現や虚偽記載があっても AIの責任か人間の責任か追及困難
  • 法廷や監査時の証拠性低下
    • 裁判で「どの部分がAI由来か」証明不可
    • 検証可能なデータが ほぼ存在しない
  • 現場の混乱や運用上の不備
    • 検察や弁護士との連携・確認が 不十分なまま導入
    • バグによりAI原稿を未確認で提出可能な事例も発生

Axonの主張と現実の乖離

  • Axonは「 ワープロと同じで草稿保存義務は不要」と主張
  • しかし、Draft Oneは AIと人間の共同作成物 であり、 本質的に異なる
  • AI技術の正確性や影響を証明する記録が残らない ため、技術の評価も困難
  • 警察報告書の書式や運用自体を根本から変える可能性 もあり、現場や司法への影響大

まとめ

  • Draft Oneは 透明性・説明責任・監査性を意図的に排除した設計
  • AIと人間の責任分界が消失し、社会的リスクが高まる
  • 新技術導入時に必要な検証・監査体制がほぼ存在しない
  • 公共の利益や正義実現のためには、継続的かつ厳格な評価と記録保存が不可欠
  • 現状のDraft One運用は 説明責任・信頼性・公平性を著しく損なう恐れ

Hackerたちの意見

OpenAIがオリジナルを全部持ってるのか気になるな、特にNYタイムズとの訴訟のことを考えると。

そうなったら、絶対にFOIAの対象になるね。

TFAからの引用だけど、「私たちの見つけたことや、どのように公的記録のリクエストを提出したか、そして自分でどうやって提出できるかを詳しく説明した完全な報告書をここで読めます。」最後の「ここ」は別の記事へのリンクになってる: https://www.eff.org/deeplinks/2025/07/effs-guide-getting-rec...

彼らのモデルはMicrosoftのモデルとAzureで動いてるよ。

本当の問題は責任だよね。警官もパイロットみたいに報告書に対して責任を持たなきゃ。[1] そうだよね: https://www.google.com/search?q=are+pilots+accountable+for+u...

これは多くの問題の中の一つに過ぎないけど、実際にはこの技術についてもっと心配になる。警官が自分が書いてない報告書の内容を守るインセンティブが明確にあるから。間違ってると気づいても、急いでサインしちゃったからね。この技術の設計は、市場の力によって引き起こされるディストピア的な結果の明確な例だと思う。資本主義が、社会が利益動機による歪みに対して守るべきプロセス(例えば司法)に入り込んでる。社会的利益を考えた設計の技術も想像できるけど、実際には売上を上げるための設計になってる。

法執行機関にはもっと責任が必要だと思う。警察官も他の高リスク職業と同じように、個人賠償保険を持つべきだとずっと思ってる。もし警官が保険に入れないなら、雇われるべきじゃない、シンプルにね。繰り返し不正を犯せば保険料が上がるか、完全に資格を失うことになるから、悪い行動には実際の結果が伴う。警察官が私たちと同じ基準で評価されないのは驚きだよ。大工や建設業者として、間違った住所に行って何かを作ったり壊したりしたら、財政的にも法的にも責任を負うことになる。正すことが求められ、保険も介入するだろう。でも、警察官が間違った家を襲撃して無実の人を傷つけたり殺したり、赤ちゃんがいる部屋に催涙ガスを投げ込んだりしても、法的にも財政的にも、専門的にも責任を問われることはほとんどない。これは、公共を守ると主張するシステムでは受け入れられないことだよ。

警察が航空業界からもっとインスピレーションを受けて、警察の責任を果たす方法を模索してほしいな。NTSBはパイロットを責めるために存在しているわけじゃなく(時には責めることもあるけど)、航空旅行を安全にし、将来の航空機事故を防ぐためにあるんだ。安全が重要な業界で災害を防ぐためには、何かを人間のエラーや悲劇的な事故と片付けると、必ず同じことが繰り返される。みんなが規則通りにやったとしたら、その規則を見直さなきゃいけない。今の規則には航空機事故を引き起こすレシピが含まれているから。警察も、力の行使に関する事件を同じように扱ってほしい。警察の力の行使に関する調査は、警官が法律や部署の方針を違反したかどうかを問うけど、ほとんどの法執行や司法の仕事は、罪のある者を特定し、裁き、罰することに焦点を当てている。罪のある者がいなければ、プロセスは何も変わらない。警察の力の行使に関する調査が、安全な結果を改善することに焦点を当てるようになってほしい。

警察国家の解決策がもっと警察を増やすことなの?それとも減らすこと?銃を取り上げて、警察や政治家の権限を減らすべきじゃない?90万人の警官を権力から剥奪して、普通の人にすることが責任を持つことになる?600,000人の政治家も同様に。彼らのストーリー的な精神病はどうでもいい。みんなが生物に奉仕するための物流プロセスを一般化するのに忙しくなれば、1800年代の専門用語を使った無意味な宣言(フィアットの評価)についてのストーリー的なハッスルミームをやめるべきだ。約150万人の政治家と警官が、何千万もの人々を指先で操っている。都市化が進む中で、彼らの多くが、彼らによって苦しめられている人々がいる大都市から数マイルのところに住んでいるのが最悪だね。60歳以上の人たちから微々たる改革を求める時代はとっくに終わった。銃を取るのをやめて、みんなを普通の公務員にして、誰もが権力を持たないようにすればいい。https://aeon.co/essays/game-theory-s-cure-for-corruption-mak... 低レベルのゴシップ的な「誰々が不正をした」みたいなものを除いて。死亡トレンドの統計分析は、私たちがメインストリートでそんなゴシップのためにお互いを殺し合っていることを示唆している。国家が引き起こす残虐行為や帝国主義の瞬間に人間の死が急増することが明らかだ。ほとんどの大人が殺人の大暴れをしないのは明らかだね。

そうだね。警察の報告書にどの単語がどう入力されたかは関係ない。大事なのは、警官がそれにサインをしたこと。彼らは報告書の内容に対して個人的に完全に責任を持つべきだ。生成AIを使おうが、音声からテキストに変換しようが、Dvorakのタッチタイピングだろうが、QWERTYのハントアンドペックだろうが、何でもいい。警官は最終報告書を読んで、その正確性を主張するためにサインをしなきゃいけない。もし警察の報告書が低品質なら、それは警官のパフォーマンスの問題だ。公的安全におけるパフォーマンス管理は非常に難しいけど、それが重要な問題なんだ。AIのユーザーインターフェースを調整することで法執行の責任を解決することはできない。それにしても、技術を使って責任を高めるチャンスを逃しているように見える。ボディカメラの映像に音声からテキストに変換を使っているなら、素晴らしい!会話に関わった全員がその書き起こしのコピーを受け取るべきだ。STTのエラーに異議を唱えるための簡単な方法も必要だね。ただ、ボディカメラの映像自体と同じことなんだ。常時オンのボディカメラでデフォルトで公開アクセスがあるのは一つのことだけど、警官が管理して、訴訟を起こしてレビューするのは全く別の話。重要な問題は技術的なものではなく、政治的なものなんだ。

どの部分がAIによって書かれたのか、どの部分が警官によって書かれたのかは重要だと思う。警官が報告書にサインしたら、その内容に対して全責任を負うことになるからね。

EULAを毎回最後まで読む?みんなほとんどのものにLGTMのスタンプ押してるよね、今の時間効率を優先して。

Hacker Newsで議論の続きを見る