問題を再現するために、この脆弱性についてBardで調べてみた。BardがLLMとして言及されてるのを見ると、なんだか懐かしい気分になるね :)

2つのレポートを見たけど、それがAIから直接出ているのか、セキュリティをよく理解していない非常に若い学生からのものなのか判断できなかった。LLMは一般的にもっと説得力があると思う。

二つ目の報告で、ダニエルはスロッパーにすごく優しく挨拶して、会話を始めようとしたんだけど、スロッパーは全然違う名前で呼んできたんだ。しかもそれが2023年12月の話。めっちゃ疲れたに違いない。

正直、読んでてムカつく。cURLがこんなに長い間我慢してたなんて、驚きだわ。

その報告は明らかにAI生成だし、スタッフがそれを認識してないのが不思議で真剣に取り合ってるのが変だ。

同意するけど、返金は合理的な人がそれを脆弱性と考えられるかどうかに基づくべきだね。外部の人には、ある行動が期待されるものなのか脆弱性なのかを判断するのは難しいことが多い。

バグが重要だと判明した場合に返金されるエントリー料金があれば、すぐに解決すると思う。これをNotionからConfluenceへのコスト境界と呼んでいる。Notionが最初に出たときは、サクサク動いて使いやすかった。ページを作成するのがほぼ手間いらずだったから、すぐに何千ものページができてしまったけど、ほとんどが無駄だった。Confluenceは、西欧では攻撃的に遅い。ページを追加することを考えるだけで気が滅入るから、既存のページを更新してリクエストタイムアウトの時間を節約する方が楽なんだ。結果的に、大企業でも約20ページしかない。sleep(15 * SECOND)が対策になるとは言わないけど、何かがスケールで非常に簡単にできるようになると、元の有用性がノイズの海に埋もれてしまうんだよね。

そのエピソードは面白いし、同時に怖い。オプションのパスワードは必須のより便利だけど、オプションのPINもそうだよね。一番便利なUXは、全くログインしなくてもいいことだ！もちろん、他の人が自分の銀行口座にアクセスできるのは不便だと思うけど。

バグバウンティは、提出者にとってリスクが大きいことが多い。報告を読む人があまり詳しくなくて、誤解することもよくあるし、どんな報告が求められているのかルールが不明瞭なことも多い。参加費を取ると、そのリスクが増える。正直、バグバウンティは両方にとってちょっと悲惨だよ。バグバウンティプログラムの受け取る側で働いたことがあるけど、提出されるものは信じられないくらいひどい。AIが登場する前でも、整理するのは大変だったから、今はどんな感じか想像もつかない。提出者にとっては、評価が公平に行われる保証がないまま、実質的にスペックで働いているようなもんだよね。たとえ評価されても、10年前に報告された問題の重複じゃないかという賭けをしてるわけだし、その会社が直す気がないだけなんだ。

cURLはそのプログラムを誠実に運営して、cURLが重視するバグ報告を提出する人たちの信頼をすぐに得るだろう。でも、君の銀行はそうじゃないし、私の銀行も、ほとんどの小売銀行もそうじゃない。もし初期コストが本当に潜在的な提出者を遠ざけるなら、ハッカーたちが君にお金を前払いして、バグが良さそうならその分の取り分を求めるような小規模な産業が生まれるだろう。それが気持ち悪いと思うかもしれないけど、実際はそうじゃない。彼らはプロジェクトのバグトリアージをやってくれるから、どんなソフトウェア会社も人にお金を払うことを喜ぶはずだよ。

最近知ったんだけど、病院や銀行のような厳しく規制されたものは、実際のセキュリティじゃなくてコンプライアンスに合わせたセキュリティ手順を持っている。悲しいことに、そうだね。捕まるかもしれないと思わない限り、何もやらない。最近まで顧客だったEU全域の銀行は、認定電子署名でのログインをサポートしてたけど、君のドングルが…SHA-1をサポートしている場合だけ。私のはサポートしてなかった。もう10年以上前に廃止されたものだよ。政府認定のアイデンティティプロバイダーが、複数の電子署名をリストで表示できるソフトウェアを作ったけど、その中にYubiKeyがあると…クラッシュ。YubiKeyは彼らが売っていたPIVモジュールと同じ標準に準拠しているのに、開発者が標準を超えた仮定をしてしまった。私はただ、YubiKeyを接続している間にソフトウェアがクラッシュしないことを望んでいただけなのに。報告したら、彼らは「それは私たちの問題じゃない」と返事してきた。

弱い銀行のログインについてだけど、アカウントの乗っ取りをすべて補償する方が、非技術的な顧客を遠ざける複雑なログインプロセスを持つよりも安上がりだと思う。まあ、もし私がコンピュータサイエンスよりも金融に詳しかったら、アカウントの乗っ取りがどれくらい起こるかを示す合理的なリスク評価があれば、その決定を下すかもしれないね。

それ以来、病院や銀行のような厳しく規制されたものは、実際のセキュリティではなく、コンプライアンスに合わせたセキュリティ手順があることを学びました。私は、デバイス認証に関するGrapheneOSの状況のおかげでその結論に至りました。認証されているために、不安定なデバイスでもいくつかのアプリからフル機能を受けられる一方で、GrapheneOSは「不安定」と見なされているため、機能が半分しかないアプリしか使えません（要するに、Googleの認証がないけど、実際には世界で最も安全なデバイスなんです）。

バグレポートは100%確実な白黒のものなの？ バグを見つけたと思ってるけど、確信が持てない人は、間違ってるかもしれないリスクやコストで萎縮しちゃうことはないかな？

このアプローチの問題点は、バグバウンティプログラムの重要な機能の一つが、脆弱性を他で売るんじゃなくて開発者に報告するように人を促すことなんだよね。もし、開発者に脆弱性を報告するのにお金を払わなきゃいけなくて、しかも高品質で誠実な報告をしても返金される保証すらないなら、他の誰かに売る方がずっとインセンティブがあるよね。

オープンソースコードがモデルを訓練しただけとは言えないと思うよ。CSのコースや教科書、公式ドキュメント、講演やコースのトランスクリプトも影響しているしね。AIがほとんどのオープンソースコードを置き換えるという点については、何のツールだったか忘れたけど、古いAndroidデバイスにアクセスするための非常にニッチな方法が必要だったんだ。それはルート化されていたけど、Disk Drillみたいなものを使うと最終的に空のファイルが出てきてしまった。だから、誰かが作ったGUIを見つけて、Claudeに必要な機能を追加してもらうよう頼んだんだ。a) 見えているディレクトリをプレビューできるようにして、b) sudoを使えるようにして、合理的な遅延（1秒くらいだったと思う）でダウンロードできるようにしてもらった。それがうまくいったから、もう問題はなかったよ。古い写真を復元するのは少し遅かったけど、まあいいや。コードの変更をGitHubに戻そうか迷ったけど、期待通りに動作するけど、メンテナの目標からはずれてしまったと思う。

「オープンソース」と「ビジネスモデル」を同じ文で使うなんて…次はフォークでプリンを食べろって言うのか？

オープンソースのビジネスモデルに対して、有料機能を実装したりサポートを提供することで、徐々に侵食していくことができる。AIについて悲しいことはたくさんあるけど、これはその一つじゃない。ビジネスモデルに対する権利なんて誰にもないし、特に誰も競争しない前提のものなんて。もし君のビジネスモデルが、他の世界がダメだからこそオープンコアソフトウェアに付加価値を売ることに依存しているなら、失敗するのを見て嬉しいよ。

AIがインターネットを劣化させる影響は、ソーシャルメディアと同じだと思う。無駄なPRや問題の洪水はその一つの症状だね。もう一つは、AIがTikTokが始めたトレンドを加速させていること—短くて浅い、手間のかからないコンテンツ。すごく残念だけど、この技術は素晴らしいのにね。でも、どのテック企業も「AIが未来だ」っていうクーラーディを飲み干してしまったから、低品質でAI生成のゴミが溢れるのに対抗するインセンティブが誰にもない。しばらくは底辺争いになるだろうね。

同じ流れで言うと、Google Summer of Code（GSoC）のようなプログラムは大規模な見直しが必要になるか、運営をやめることになると思う。私の失敗した試みから覚えているのは、- 学生は自分の興味やスキルに合ったプロジェクトを見つけて、早めに貢献を始めなきゃいけなかった。 - 複雑さのために応募する学生が少ないプロジェクトには近づかない方がいいって話してた。これらの要素がプロジェクトのクリエイティブなフィルターになって、良い学生や貢献者を引き寄せてたけど、AIがそれをスケールでできるようになると、全部なくなっちゃうね。

どういうこと？バザールモデルが最も利益を得られると思う - 貢献者はLLMを使ってPRを作成できるし、どれだけ「バイブコーディング」を信頼するかによって、さまざまなプロジェクトから選べるよ。

彼らは気にしないよ。大量に作って、スパムのようにばら撒いて、少しでも成功することを期待してる。もしアカウントが禁止されたりブロックされたら、新しいアカウントを作る。恥なんて全く関係ない。お金が全て。商品について理解しようとも思わないし、興味もない。以前からそういうことはあったけど、今はLLMのおかげで、無関係な人たちが試してみて、さらに混乱を招いてるんだろうね。

今のところ、どれが本物かを見極めるのが難しい。だから、まだまだ時間がかかるプロセスなんだ。

バグを見つけるプロセスは、まだまだ時間がかかるし遅い。cURLのようなコードベースで見つかる脆弱性は、まだAIの範囲外だよ。バイナリエクスプロイトは、今でも人間だけの分野なんだ。

それって具体的にどういうこと？Curlって、どこかに「ホスト」できるソフトウェアじゃないし、ソフトの中にフラグを隠す場所も分からないんだけど。実際にフラグを取得できる脆弱性は少ないか、もしくはエクスプロイトなしで簡単にフラグを取得できちゃうってことになるよね。