概要
- AI活用による自作システム が医療現場で導入された事例
- 重大なセキュリティ問題 が発生し、患者データが無防備に公開
- 法的リスク やプライバシー侵害の可能性
- AIツールの無理解 による危険性の指摘
- AI時代の課題 と今後への懸念
私が体験したAIコーディングホラー:医療現場での現実
-
医療機関の 受付での出来事
- フレンドリーなスタッフによる案内
- AIで誰でも簡単にソフトウェア開発ができるという動画を見たとの話
-
自作患者管理システム の導入
- コーディングエージェントを起動し、独自の患者管理アプリを作成
- 既存の患者データを全てインポートし、インターネット上で公開
- 診察中の会話録音機能を追加し、音声データを2つのAIサービスへ送信して自動要約
- 手動での記録作業を廃止
-
セキュリティ問題の発覚
- アプリを調査し、30分で全患者データへの 読み書きアクセス が可能に
- データは 暗号化されず、インターネット上で完全に公開状態
- すぐにスタッフへ通知
- 返答は AI生成のテンプレート で、基本認証追加やアクセスキーのローテーションを報告
-
根本的な問題点
- スタッフは 構築したシステムの内容やリスクを理解していない
- データは米国サーバーに保存、 データ処理契約なし
- 音声記録は米国のAI企業へ送信、患者への事前説明なし
- 医療データの扱いとして 明確に不適切
-
法的リスク
- nDSG(新データ保護法)や 職業上の守秘義務 違反の可能性
- 法律の専門家ではないが、明らかに複数の規定に抵触
技術的背景
- アプリケーションは 単一のHTMLファイル
- JavaScript、CSS、構造が全てインライン記述
- バックエンドは 管理型データベースサービス
- アクセス制御なし、行レベルのセキュリティなし
- 全てのアクセス制御ロジックはクライアントサイドのJavaScript内
- データは誰でも curlコマンド一発で取得可能
- 音声データは 外部AI APIへ直接送信
- 転送・要約処理を完全外部依存
今後への展望と懸念
- 望ましいAIの未来像 とはかけ離れた現状
- AIコーディングエージェントの活用は有用だが、 コードやアーキテクチャの理解が不可欠
- 無知なままAIに依存する危険性 の強調
- 誰もが「ノリ」でAIを使う未来は、 決して安全で幸せなものではない