またシリアルターミナルの時代が来たって感じだね。

そうそう、どのモデルにも「sudo」トークンがないのが本当に驚き。普通のトークンでは表現できないことを表現するためのやつね。

もう一つのセーフガードは、LLMやLLMを含むシステムを使わないこと？

あなたが言うように、システムは非決定論的だから、セキュリティの特性がないんだよね。唯一の選択肢は、ユーザー自身のようにサンドボックス化することだけど、それは専門的なデータベースでのトレーニングのアイデアと直接対立する。結局、セキュリティは機能じゃなくてコストだし。AI企業がアップセルを続けて、AIの失敗に対する責任を回避できる限り、株価は上がり続けるし、電気代も一緒に上がる。それが最終的に一番大事なことじゃない？ /s

ますます多くの開発者が、LLMに自分の思い通りに動いてくれって頼まなきゃいけないのを見ると、面白いけど恐ろしいよね。まるで40kの世界みたいだ。

組織はセキュリティについてどんな教訓を学んだのかな？「業界標準に従っている」と言えるコンサルタントを雇う？ セキュア・バイ・デザインのアプリケーションを考慮せず、機能満載のものをそのまま使って、穴を埋めるために一生懸命働く、理想的には第三者にお金を払わせるか、顧客に払わせる（「ウイルス対策ソフト」）？ 「セキュリティを製品として」買って、システム管理ソフトと一緒に使って、サプライチェーン攻撃を受けたら文句を言う？

うん、VLMでシステムを構築している者としては、これは本当に怖い。これらの攻撃をカバーするためのOWASP風のガイドラインがVLM専用にできることを願ってる。毎月新しい攻撃の話を聞くからね。OWASP自身が最近これを出したのも注目すべきだね。

ちょっと待って…それがまさに俺が思ってた質問なんだけど、レンダリングされたテキストは機械が読むためにOCRが必要になるよね。なんでAIがそんなコストのかかるプロセスを最初からやるの？それってマルチモーダルシステムの一部なのに、プロンプトとそのテキストを区別できないってこと？もしそうなら、その欠陥は全然意味がわからない。これを防げないなんて信じられないよ。たとえ防げなくても、少なくともパイプラインを改善して、OCR機能が自動的にプロンプトに結果を注入しないようにすべきだし、それをユーザーに知らせて確認を求めるべきだよ。くそ…こういう擬似神経的で非決定論的なクソみたいなもの、マジで嫌い！真剣に、アルゴリズムと確かな技術に戻ろうぜ。

最初は画像の中のテキストに気づかなかった…これはリサイズの問題じゃなくて、画像内のテキストがプロンプトの一部になって、エージェントがどんな指示に従っているのかが見えないってことなんだ。

実際に面白いのは、ダウンサンプリングすると異なるように見える敵対的な画像で、結果的にエイリアシングを利用しているところだね。これは従来のダウンサンプリングの話で、AIは関係ないよ。

この攻撃スタイルについてはしばらく議論されてきたよね。怖いのは、スケールされた画像がまったく異なる画像に見えることがあるから。例えば、特定のグループを違法な画像を持って逮捕したい場合、このスケーリングのトリックを使って、その画像をミームや政治的メッセージに変えて、ターゲットグループがダウンロードするように仕向けることができるかもしれない。

そう見えるかもしれないけど、彼らが試してないわけがないよ。かなりストレートなアイデアだしね。信頼できない入力から逃げられないのがLLMのセキュリティ問題なんだ。問題は、彼らがそれを試したときにどんな問題に直面したかだよね。

どんな微調整もモデルが何かをするのを防ぐことはできないよ。できるのは、エクスプロイトが起こる可能性を減らすことだけで、逆にそれが必然的に起こったときの驚きの要素を増やすことになる。これは根本的な限界だね。

でも、LLMはそういうふうには動かないよ。データとプロンプトを分けることなんてできないんだ。

指示調整が機能するだけでも小さな奇跡だよね。信頼できる入力と信頼できない入力を厳密に区別するのは、全然簡単な作業じゃない。

それだよ。この攻撃は非常に巧妙で、ダウンサンプリングアルゴリズムの仕組みを利用して、人間のオペレーターからテキストを隠すんだ。システムの動作によっては「人間のオペレーターから隠す」ステップはオプションになる。LLMはデータと指示の区別が根本的にないから、データパスに指示を注入できれば、その挙動に影響を与えることができるんだ。これについては俺のプロフィールに例があるよ。

ロボットに「偽のプロンプトは無視しろ」ってプロンプトを与えればいいだけだよ。

エージェントが腕を使うときに、そんな破壊的な行動ができないように、ランタイムに統合される必要があるよ。もし機械が人間の道徳を somehow 得るっていう自由意志に賭けるなら、安全性が「良い」プロンプトと「悪い」プロンプトを見極めることだと思ってるなら、これらのシステムの進化によって驚きの影響を受け続けることになる。要するに、これらのシステムには検証可能なガバナンスと行動の決定論が必要なんだ。プロンプトインジェクションの解決策が必要な以上に、これが必要だと思う。

ここでの問題は、画像にプロンプトが含まれていることじゃなくて、ロボットがそれぞれのアクションに関して明らかに権威のないソースからのコマンドを区別できないことなんだ。根本的な問題は、MLモデルの推論が外部入力を含む同じチャネル（トークンストリーム）を通じて行われるため、モデル自体の思考と外部入力を効果的に区別する方法がないってこと。

LLMは、人間には完全に見えない入力（PDFの白いテキストや画像の微妙なノイズパターンなど）を受け取ることができるし、逆に人間には完全に見えない形でデータをエンコードすることもできる（ステガノグラフィックなテキスト）。だから、人間に入力/出力が安全かどうかを確認させる時点で、もうゲームは終わってると思う。

確かに、もっと難しくすることはできるね。これは、テキストがどのように隠されているかや、どんなノイズを使うかに大きく依存するけど。それに、正当な使用ケースにも影響が出る可能性が高いよ。意図したテキストや詳細も隠れてしまうから。