概要
- OpenAIの音声入力モデルで発生した「他人の会話が漏洩したように見える」バグの調査報告
- 初動では本物の漏洩と誤認、後にOpenAIの技術説明で「幻覚生成」によるものと判明
- 報告者は45日間の業界標準開示ウィンドウを守り、責任ある開示を実施
- バグ報告・対応フローや透明性についての提言
- 実際の個人情報漏洩は発生していないが、注意喚起と今後の改善要望
OpenAI音声入力モデルにおける「会話漏洩」誤認バグの調査報告
- 2025年5月29日、 gpt-4o-transcribe モデル利用時に「他人の会話が見える」現象を発見
- 音声ファイル（約1500秒）を送信した際、 本来の出力やエラーではなく、様々な言語や内容の会話文が返却される事象
- 返却されたテキストには 実在しそうな会話・業務情報・コード 等が含まれていたため、 他ユーザーのデータ漏洩 と判断
- 特に、 カザフスタンの実在企業に関する財務分析（Cyrillic表記） 等が含まれていたことが誤認の決定打
技術的原因とOpenAIの説明
- OpenAIの調査により、 音声入力がモデルのトークン上限を超えた場合、空クエリとして扱われるバグ が判明
- 空クエリの場合、 LLMがランダムなトークンから生成を開始 し、 一見意味のある文章やデータを「幻覚」生成 する挙動
- 生成された数値や内容は 現実と一致せず、完全な合成データ であることが確認
- 明示的なエラー表示がなかった ため、入力が空になっていることに気づけなかった点が誤認の要因
- 2025年7月16日、OpenAIから 技術的説明とバグ修正済みの連絡 を受領
セキュリティ報告・開示プロセスへの提言
- 報告者は 暗号化メールで公式窓口へ報告、自動返信のみで 45日間人間対応なし
- OpenAIのバグバウンティポータルでは 開示後の情報公開を一切認めない規約 があり、 研究者の透明性確保と相反
- Googleなど他社は 修正後の公開を推奨 し、 責任ある開示文化 を形成
- セキュリティ対応のSLO（サービスレベル目標）明記、 3-5営業日以内の有人対応, 第三者ペンテストの定期実施 などを推奨
- 善意の研究者への報奨 と 情報公開の自由 の確保を要望
ユーザー・企業への注意喚起と今後の対応
- 公式な修正・アドバイザリ発表まで、OpenAIへの機密情報入力は控える ことを推奨
- データ分離機能の活用、 個人情報の削除、 セキュリティページの監視 を推奨
- OpenAIセキュリティチームとの連携・パッチ検証協力の意思表明
- 「AIモデルの成熟度≠セキュリティ成熟度」 という教訓と、 透明性の重要性 を強調
経緯の時系列まとめ
- 5月29日 ：異常を発見し、即日暗号化メールで報告。自動返信のみ
- 6月10日 ：フォローアップメール送信。依然として有人対応なし
- 7月15日 ：Hacker Newsで注意喚起を公開
- 7月16日 ：OpenAIから技術的説明と修正済みの連絡を受領
github/proton/gmail/X/whatever: requilence PGP Key: 6F2F DC1B 8626 B240 72DB 69D6 F07A 7D55 A268 4852 keybase.io/requilence