世界を動かす技術を、日本語で。

Axonの「Draft One」AI警察報告書生成ツールは透明性に逆らうように設計されています

概要

  • Axon Enterprise のDraft Oneは、警察のボディカメラ音声からAIが報告書を自動生成する製品
  • 監査や透明性 を意図的に回避する設計が判明
  • AIと人間がどの部分を書いたか 特定不可能
  • 記録や履歴保存がほぼ存在せず、検証や責任追及が困難
  • 監査機能が極めて限定的 で、利用状況の把握も困難

Draft Oneの透明性と監査回避設計

  • Draft Oneは、 警察官のボディカメラ音声 からAIが報告書を自動生成する製品
  • EFFの調査で、 監査や説明責任を回避する設計 であることが判明
  • 公開記録やマニュアルの調査でも、 AI生成部分と警察官記述部分の判別が不可能
  • AI生成文には 角括弧のプレースホルダー があり、警察官が追加・削除可能
  • 警察官は内容を確認・修正後、 Draft One利用を認める署名 をして報告書提出
  • 編集履歴や原稿保存は一切なし、ウィンドウを閉じるとAI原稿は消去
  • どの部分がAI、どの部分が人間によるものか 記録が一切残らない仕様

監査・検証の困難さ

  • Draft One導入機関では、 AIと人間の区別が不可能な報告書 が作成される
  • 警察官がAI原稿をどれだけ修正しているか、 第三者が検証不可
  • 誤訳や誤解、バイアス、虚偽記載があっても 責任の所在が曖昧
  • 元のAI原稿や編集履歴は一切保存されず、再現や検証が不可能
  • Axon側は「 余計な開示義務を避けるため設計」と明言
  • RMS(記録管理システム)にコピー後、 クラウドやシステム上にデータは残らない

監査ログとその限界

  • Draft Oneの監査機能は 極めて限定的
  • 利用者一覧やAI生成報告書の一覧出力機能は原則なし
  • 出力可能なログは、 Draft One請求や同意書署名の記録のみ
  • 個別警察官や報告書単位で 手作業でログ確認が必要
  • 数百~数千件のログ確認が必要な場合もあり、 実質的な監査は困難
  • AI共著報告書のリスト作成も 運用によっては不可能

Draft One導入による懸念点

  • 真実性や説明責任の不透明化
    • AIが誤解やバイアスを含む文章を生成し、警察官が修正しない場合、 責任の所在が不明確
    • 不適切な表現や虚偽記載があっても AIの責任か人間の責任か追及困難
  • 法廷や監査時の証拠性低下
    • 裁判で「どの部分がAI由来か」証明不可
    • 検証可能なデータが ほぼ存在しない
  • 現場の混乱や運用上の不備
    • 検察や弁護士との連携・確認が 不十分なまま導入
    • バグによりAI原稿を未確認で提出可能な事例も発生

Axonの主張と現実の乖離

  • Axonは「 ワープロと同じで草稿保存義務は不要」と主張
  • しかし、Draft Oneは AIと人間の共同作成物 であり、 本質的に異なる
  • AI技術の正確性や影響を証明する記録が残らない ため、技術の評価も困難
  • 警察報告書の書式や運用自体を根本から変える可能性 もあり、現場や司法への影響大

まとめ

  • Draft Oneは 透明性・説明責任・監査性を意図的に排除した設計
  • AIと人間の責任分界が消失し、社会的リスクが高まる
  • 新技術導入時に必要な検証・監査体制がほぼ存在しない
  • 公共の利益や正義実現のためには、継続的かつ厳格な評価と記録保存が不可欠
  • 現状のDraft One運用は 説明責任・信頼性・公平性を著しく損なう恐れ

Hackerたちの意見

OpenAIがオリジナルを全部持ってるのか気になるな、特にNYタイムズとの訴訟のことを考えると。

そうなったら、絶対にFOIAの対象になるね。

TFAからの引用だけど、「私たちの見つけたことや、どのように公的記録のリクエストを提出したか、そして自分でどうやって提出できるかを詳しく説明した完全な報告書をここで読めます。」最後の「ここ」は別の記事へのリンクになってる: https://www.eff.org/deeplinks/2025/07/effs-guide-getting-rec...

彼らのモデルはMicrosoftのモデルとAzureで動いてるよ。

本当の問題は責任だよね。警官もパイロットみたいに報告書に対して責任を持たなきゃ。[1] そうだよね: https://www.google.com/search?q=are+pilots+accountable+for+u...

これは多くの問題の中の一つに過ぎないけど、実際にはこの技術についてもっと心配になる。警官が自分が書いてない報告書の内容を守るインセンティブが明確にあるから。間違ってると気づいても、急いでサインしちゃったからね。この技術の設計は、市場の力によって引き起こされるディストピア的な結果の明確な例だと思う。資本主義が、社会が利益動機による歪みに対して守るべきプロセス(例えば司法)に入り込んでる。社会的利益を考えた設計の技術も想像できるけど、実際には売上を上げるための設計になってる。

法執行機関にはもっと責任が必要だと思う。警察官も他の高リスク職業と同じように、個人賠償保険を持つべきだとずっと思ってる。もし警官が保険に入れないなら、雇われるべきじゃない、シンプルにね。繰り返し不正を犯せば保険料が上がるか、完全に資格を失うことになるから、悪い行動には実際の結果が伴う。警察官が私たちと同じ基準で評価されないのは驚きだよ。大工や建設業者として、間違った住所に行って何かを作ったり壊したりしたら、財政的にも法的にも責任を負うことになる。正すことが求められ、保険も介入するだろう。でも、警察官が間違った家を襲撃して無実の人を傷つけたり殺したり、赤ちゃんがいる部屋に催涙ガスを投げ込んだりしても、法的にも財政的にも、専門的にも責任を問われることはほとんどない。これは、公共を守ると主張するシステムでは受け入れられないことだよ。

警察が航空業界からもっとインスピレーションを受けて、警察の責任を果たす方法を模索してほしいな。NTSBはパイロットを責めるために存在しているわけじゃなく(時には責めることもあるけど)、航空旅行を安全にし、将来の航空機事故を防ぐためにあるんだ。安全が重要な業界で災害を防ぐためには、何かを人間のエラーや悲劇的な事故と片付けると、必ず同じことが繰り返される。みんなが規則通りにやったとしたら、その規則を見直さなきゃいけない。今の規則には航空機事故を引き起こすレシピが含まれているから。警察も、力の行使に関する事件を同じように扱ってほしい。警察の力の行使に関する調査は、警官が法律や部署の方針を違反したかどうかを問うけど、ほとんどの法執行や司法の仕事は、罪のある者を特定し、裁き、罰することに焦点を当てている。罪のある者がいなければ、プロセスは何も変わらない。警察の力の行使に関する調査が、安全な結果を改善することに焦点を当てるようになってほしい。

警察国家の解決策がもっと警察を増やすことなの?それとも減らすこと?銃を取り上げて、警察や政治家の権限を減らすべきじゃない?90万人の警官を権力から剥奪して、普通の人にすることが責任を持つことになる?600,000人の政治家も同様に。彼らのストーリー的な精神病はどうでもいい。みんなが生物に奉仕するための物流プロセスを一般化するのに忙しくなれば、1800年代の専門用語を使った無意味な宣言(フィアットの評価)についてのストーリー的なハッスルミームをやめるべきだ。約150万人の政治家と警官が、何千万もの人々を指先で操っている。都市化が進む中で、彼らの多くが、彼らによって苦しめられている人々がいる大都市から数マイルのところに住んでいるのが最悪だね。60歳以上の人たちから微々たる改革を求める時代はとっくに終わった。銃を取るのをやめて、みんなを普通の公務員にして、誰もが権力を持たないようにすればいい。https://aeon.co/essays/game-theory-s-cure-for-corruption-mak... 低レベルのゴシップ的な「誰々が不正をした」みたいなものを除いて。死亡トレンドの統計分析は、私たちがメインストリートでそんなゴシップのためにお互いを殺し合っていることを示唆している。国家が引き起こす残虐行為や帝国主義の瞬間に人間の死が急増することが明らかだ。ほとんどの大人が殺人の大暴れをしないのは明らかだね。

そうだね。警察の報告書にどの単語がどう入力されたかは関係ない。大事なのは、警官がそれにサインをしたこと。彼らは報告書の内容に対して個人的に完全に責任を持つべきだ。生成AIを使おうが、音声からテキストに変換しようが、Dvorakのタッチタイピングだろうが、QWERTYのハントアンドペックだろうが、何でもいい。警官は最終報告書を読んで、その正確性を主張するためにサインをしなきゃいけない。もし警察の報告書が低品質なら、それは警官のパフォーマンスの問題だ。公的安全におけるパフォーマンス管理は非常に難しいけど、それが重要な問題なんだ。AIのユーザーインターフェースを調整することで法執行の責任を解決することはできない。それにしても、技術を使って責任を高めるチャンスを逃しているように見える。ボディカメラの映像に音声からテキストに変換を使っているなら、素晴らしい!会話に関わった全員がその書き起こしのコピーを受け取るべきだ。STTのエラーに異議を唱えるための簡単な方法も必要だね。ただ、ボディカメラの映像自体と同じことなんだ。常時オンのボディカメラでデフォルトで公開アクセスがあるのは一つのことだけど、警官が管理して、訴訟を起こしてレビューするのは全く別の話。重要な問題は技術的なものではなく、政治的なものなんだ。

どの部分がAIによって書かれたのか、どの部分が警官によって書かれたのかは重要だと思う。警官が報告書にサインしたら、その内容に対して全責任を負うことになるからね。

EULAを毎回最後まで読む?みんなほとんどのものにLGTMのスタンプ押してるよね、今の時間効率を優先して。

「should」じゃなくて「shouldn't」と書きたかったんじゃないかなと思うけど、人間の行動を研究すると、短縮行動が避けられないことがわかるよ。運転中に速度超過するのと同じで、止められて罰金を受けるリスクを知っていながら、そのリスクを無視して便利さを優先するんだよね。インターンとどう接するかを考えるのは、言語モデルのような非知覚的なツールとの関係を築く上でも驚くほど参考になる。信頼を得るために試用期間を設けるのが普通だと思うし、満足すればそのツールにどんどん自由を与えて、監視を減らしていくはず。最初の段階で警官が新しい技術を疑って警戒しているのは心配じゃない。心配なのは、彼らがその技術を信頼するようになった後、AIが正しく彼らの尻を守るようになったときだ。人々は安全なときに声を上げることを避ける傾向があるから、AIが社会の運営を少しずつ支配することになるのが怖い。

「オリジナルのドラフトは保存しないことにしてるんだ。それは意図的なもので、顧客や弁護士事務所に余計な開示の頭痛を引き起こしたくないからなんだ。これが法廷で通用するのか、ちょっと疑問だね。そうならないことを願うよ。AIには、隠れたバイアスを含むプロセスをもっと分かりやすくして、修正しやすくする大きなチャンスがある。でも、逆のこともできるから、この技術を命に関わるシステムに導入する際には慎重であるべきだと思う。「このLLMのテキストを急いで押印して」なんて言ったら、システムに埋め込まれたエラーやバイアスが広がることになる。LLMの出力には出所と測定が必要だよ。」

そうだね、記録を残さないことで開示を減らそうとするのは、最近Googleが問題になったポリシーに似てるね。

なんか、今の時代、すべてが記録されてる中で、これがどれだけ重要なのか疑問だよね。もしアクソンのボディカメラや車両カメラを使ってるなら、通常は全てのやり取りが記録されてるし、複数の警官からの映像があることも多い。警察の報告書を信じるなんて、全体のボディカム映像を見て自分で判断するよりも無能な弁護なんて想像できないよ。警官が怪しいことをしてる(カメラを切るとか)としても、警察の報告書が信頼できるわけじゃないしね。

現在の政権は、連邦警察がボディカメラを着用する義務をすでに撤廃してしまった。さらに、連邦政府の管轄下に警察を置くための声明を出したけど、実際の行動はあまりない。すべてが記録されるなんてことは、すぐには起こらないかもしれない。ごめん、情報源を探したいけど、今起きたばかりだから、後で編集するね。

これはもっと深い問題だよ。現実世界は「客観的真実」なんてシンプルじゃないし、法律の多くは私たちが求める事実の解釈に依存している。ここがこの技術の失敗するところで、特定の言葉を使って何が起こったかをフレーミングするためにマージンを押し広げることを普通にしてしまう。そういう言葉が裁判の決定に影響を与えるんだ。例えば、「怪しい動き」って言葉は本当に時代遅れに感じるけど、警官たちは日常的に使ってるのかな?でも、警察の報告書には常に出てくる。なんでだろう?裁判所は「怪しい」動きが十分に疑わしいとされて、捜索の根拠になるって言ってるから、今やどこでも警官は「怪しい動きを見た」と書くようになってる。あなたの弁護士が見た動きは怪しかったの?普通の動きだったの?それとも疑わしかったの?警官はそれを怪しいと表現してるけど、私たちは警官に従う。なぜなら、彼らは裁判所の言葉を話すから。だから、あなたの逮捕は有効で、その捜索も有効で、回収されたものも有効になる。裁判所が動きは怪しいべきだと言ったから、あなたがくしゃみをしたとき、警官がそれを怪しいと表現したとしても、彼は車から降りる前に捜索することを決めていたんだ。私たちのシステムが機能する唯一の方法は、すべてのレベルで参加者(人々、陪審員、裁判官、政治家)が警察の言葉を疑うことだよ。特に、彼らが自分の行動を正当化するために法律の言葉を習慣的に使うときはね。このツールがすることはその逆で、警察があらゆるやり取りを説明するために使う言葉を統計的に普通のものにして、今後裁判所が警察に従うように影響を与えることなんだ。

同じことを考えてた。AIレポートが生の音声に依存するなら、それを保存して、弁護側が最終的な警察レポートと比較すべきだよね。編集履歴があれば、ソフトウェアの改善や警官の動機を分析するのに役立つけど、結局、以前より悪い状況にはなってないと思う。AIのトランスクリプトと警官の記憶を合成すれば、警官一人だけよりも正確になるんじゃないかな。独立した研究があればいいのに。無能な公選弁護人もいるから、悪意ではなく無能さに起因するなら、AIはそれを変えるわけじゃない。

録音が常に必要な管轄でも、警察が法律で録音を切らなきゃいけない時があるから(特定の非公開スペースに入る時とか)、合法的なギャップが常に存在する可能性があるよね。違法なものは言うまでもなく。

「報告書がDraft Oneを使用して生成されたことを認め、報告書を確認して警官の記憶と一致するように必要な修正を行ったことにサインする。」警察官が目撃者として一般市民よりも信頼できないことはもう分かってるし、目撃者の報告は一般的に非常に信頼性が低い。なぜなら、促されるバイアスに非常に影響されやすいから。これは、促されるバイアスに寄りかかっているように見える。AIが人間を促すようになってしまっているんだ。これは歪んでるよ。

確かに。事故現場のボディカメラ映像を見てたんだけど、車の一台がガソリンスタンドに突っ込んでたんだ。警察が来て、現場は混乱状態で、地面に倒れてる被害者がいて、目撃者が助けたり助けなかったり、警察は誰がどの車に乗ってたのか分からない、みたいな。そんな中で、警察が落ち着いてきた頃に、関わりたくないって言ってた人を特定しようとして、その人を手錠で捕まえてパトカーに放り込んだんだ。「協力的じゃない」って理由でね。別の目撃者がそれを見て、その人がもう一台の車の行方不明の運転手だと自信満々に警察に言ったんだ。警察は「怪しい行動をしている人は何か隠しているに違いない」って思って、その人に集中し始めた。結局、そのかわいそうな子は、どれだけの時間を無駄にすることになるか分からないけど、目撃者の「信頼できる」証言のおかげで、自分が関与していないことを「証明」できたんだ。今や、警察が「抵抗するな」って言うのが当たり前になってるから、音声だけのAI生成レポートはすごく正確になるはずだね。

アメリカを離れることにしたよ。カリブ海で3年間働いて住んでたけど、本当に自由だった。確かに、バカだったらちょっと危険だし、物事の待ち時間も長いし、道も悪いけど、島の時間ってやつだね。でも、警察国家ではなかった。無法状態もあるけど、酔っ払った誰かの通報で警官がバーに来て、車で家まで送ってくれることもあった。そこにいるアメリカ人たちは、70年代のアメリカみたいだって言ってた。懐かしいな、テクノクラティックな警察国家には住みたくない。オンラインで皮肉を言ったからって、白いバンが家の前に停まることを心配したくない。編集:考え直してみると、カリブ海にいたときよりも、今住んでるアメリカの大都市の方がずっと危険に感じる。比べ物にならないね。

ドミニカ共和国に来てみてよ。15年間ここにいるけど、いくつかのプロジェクトをここから運営して問題はなかったよ。シバオ地域には、私の意見では最高の文化があって、サンティアゴにはいろんなものがあるけど、宝石を見つけるにはちょっと探さないといけない。サンティアゴとプエルト・プラタの間の山々が好きで、すべてに近いけど、何も真ん中にはない。1000m以上の標高では、夜は涼しくて日中は暖かい。ここに来たら、第三次産業革命について話したいなら連絡してね。

「泰山のそばを通りかかった孔子は、墓のそばでひどく泣いている女性に出会った。師は前に進み、急いで彼女のもとに向かった。そして、子路を送って彼女に尋ねさせた。「あなたの泣き声は、悲しみの上に悲しみを抱えている者のものですね。」彼女は答えた。「その通りです。かつて私の夫の父がここで虎に襲われて亡くなりました。夫もまた亡くなり、今度は息子が同じように死にました。」師は言った。「なぜこの場所を離れないのですか?」彼女の答えは、「ここには圧政がないからです。」師は続けて言った。「覚えておきなさい、子供たちよ。圧政は虎よりも恐ろしいのです。」」この論文のテーマは、政府が虎よりも恐ろしい存在にならないようにする問題です。 --- バートランド・ラッセルの『権力の調教』より、1938年

「オンラインで皮肉を言ったからって、白いバンが家の前に停まることを心配したくない。」こういうことが本当に起こるかどうか心配してる人がいるのが面白いよね。それなのに、自分たちが「ちょっと危険」だとか「無法地帯」と表現する場所を好むっていうのが不思議。これは、誇張された見出しやオンラインの恐怖を基にした世界観を作ると起こる思考だよね。常に見出しに載っていない場所に行くと、自分が見たものや感じた雰囲気を基に世界観を築かなきゃいけない。危険で無法な場所が、明らかに安全な国よりも安全な選択肢に聞こえるなんて、情報を恐怖や怒りを煽るインターネットのソースから得すぎてるんじゃないかな。こういう認知的不協和のエピソードがあるたびに(無法で「ちょっと危険」な場所が安全に感じるっていう)、一つのコミュニティの印象を雰囲気で得て、もう一つのコミュニティをニュースの見出しで得ていることになる。今回は、皮肉なオンラインコメントで白いバンに投げ込まれる技術的な警察国家としてのアメリカと、地元のバーで警官を見かけたことの対比だね。

「テクノクラティックな警察国家には住みたくない」 残念ながら、警察国家的な考え方が広がってるね。暗号化への攻撃や、テロや児童ポルノに対する「取り締まりの必要性」は、多くの政府関係者にとって夢のような話で、家の中にカメラがあって、24時間あなたのスマホが監視して、あなたの犯罪を警察に報告するまで満足しないんだ。どの政府も免疫はないよ。フランス、オーストラリア、イギリス、EU、みんな私たちのプライバシーや言論の自由を奪いに来てるし、いつかはそれを手に入れるだろう。歴史は繰り返さないと言われるけど、よく似たことが起こるんだと思う。多くの人が警察国家での生活を忘れたり、経験したことがなかったりするけど、2030年代にはその記憶が戻ってくるかもしれないし、新しい世代にこれらの概念を紹介することになるかもしれない。

TechDebtdevinが「...70年代のアメリカではこうだった」と言ってるけど、飲酒運転に関しては、70年代も今と同じだったと思う。

これには音声が必要で、透明性が増すみたいだね。正確性を確認するために音声記録をリクエストできる。これは弁護側の弁護士からのルーチン手続きになるだろう。技術に問題があればすぐに発見されるし、警官がレポート生成前にエラーを修正する仕事をしなかったら、厳しく追及されるだろうね。

みんな、ターミネーターみたいなAIの終末を心配してるけど、俺はそうじゃないんだ。むしろ、もうAIの終末を作っちゃってて、これがその姿なんじゃないかって心配してる。SNSでの過激派の拡大も含めてね。AIはただの数学で、物事を分類したり予測したりするものだと思ってる。主に言葉を扱って、生成的に使える予測や、いろんなメディアでの識別に使える分類ができるんだ。でも、人々がそれを責任を持って使うとは信じられない。俺だって、雰囲気でコーディングしてる時はそうだし、それは自分の問題だけどね。人間は利己的で、自己中心的で、忙しくて、怠け者で、AIを責任を持って使わない理由がたくさんある。企業も道徳的じゃなくて(不道徳ではなく)、収益を得るための最短ルートを求めてるから、警官たちがパトロールに出たいのに、報告書を書くために無駄に時間を使いたくないのは当然。だから、AIに報告書を書かせて、それでいいってなるんだ。法律をたくさん作って、警察が信頼できる行動を強制する製品を指定することもできるけど、AIを使って警察の報告書を書くことはできないっていう法律を通すのもいいかも。ただし、明確にラベル付けされたAI生成の書き起こしや要約は、元の録音が証拠として保存されている場合に限り、編集なしで警察の報告書に添付できるっていう条件付きでね。ボディカメラや車載カメラの映像を保存している警察署は、報告書の作成を楽にして、警官には自分の印象を注釈として付けるだけでいいってなるかもしれないし、あとは記録が自分で語るって感じになるかも。

クリエイティブな弁護士たちがこれを利用するだろうね。まず、警官にAIが報告書を書くのを手伝ったと証言させて、その後AIを証人として呼ぶ。裁判官がそれを却下したら、OpenAIやAxonの関係者全員に召喚状を出し始める。ほかの人が指摘しているように、実際のボディカメラの映像は記録された出来事に対して決定的な証拠になる。でも、報告書自体が後の行動につながる場合もたくさんあって、その正確な文言の責任を誰が取るかは非常に重要なんだ。例を挙げると、AIがAの逮捕中にAがBについての自白をしたと誤って報告したとする。その報告書に基づいて、警察はBの家を捜索するための令状を取得する。Bが無実だと判明したら、Bは警察署を訴えて、報告書が開示されると、サーカスが始まるってわけ。