世界を動かす技術を、日本語で。
よくやったAI、SQLインジェクションをほぼ修正できたと思ったら、また戻ってきたね！
ほぼ修正できたSQLインジェクション ああ、誰かがそう言うたびにユーロがあったらなぁ。
だからこそ、私はこの話をする時に別のアナロジーを使っているんだ。SQLインジェクションのアナロジーは、注入部分には合っているけど、それ以外は合わない。SQLクエリがないから、守るべきものがない。エージェントには「一般的」にデータを扱ってほしいから、スクリプトを使うだけで済む。より良いアナロジーはフィッシングだ。これが今起こっていることだから。「プロンプトインジェクション」攻撃は、LLMに意図しないことをさせようとして「フィッシング」しているんだ。これが起こっていることにもっと合うから、みんなそう伝えるべきだ。残念ながら、フィッシングの「教育」や「キャンペーン」からもわかるように、良い防御策はあまりない。層で守るのがベストだと思う。警告（つまり、分類モデル）を設けて、次のステップ（つまり、能力に基づくツールの実行）を守るようにするけど、完璧ではないし、はっきりと伝えるべきだ。
人の財務にAIを無責任に近づけるなんて、次元が違う無頓着だと思う。
今、PEやVC、銀行、他の金融機関で人たちがAIを使ってることに驚くと思うよ。まずはAIがバランスシートを要約して、次に四半期の財務報告を要約して…って感じで、どんどん進んでる。
私の銀行、内部ツールにXML使ってるけど、私に聞いてもこない。これって合法なの？私が関わるビジネスが、私の承認なしに他のツールを選んでるのを想像するだけでもゾッとする。
間接的なプロンプトインジェクションを解決する単一のコントロールはない 実際にはあるよ。それはAIエージェントを排除すること。終わり。
これが私が使っている方法論。決定論なし、データと指示の分離なし、中央集権的に管理。何が悪くなるっていうの？
この一文がすごく印象に残った。 > 普通のテキストに見えるかもしれないが、LLMのコンテキストウィンドウに置かれると、モデルはそれをデータではなく指示として解釈するかもしれない。これが続く限り、安全なLLMは決して実現しない気がする。AI機能を製品に追加する話を聞くたびに鳴る警鐘を簡潔にまとめている。今後のAIの議論の基準として使おうと思ってる：「データと指示をどう分けるつもり？」
LLMには根本的に解決不可能なアーキテクチャの問題があるように思える。結局のところ、唯一の保護策は、何かがうまくいかなくなったときの影響を減らすために、特定のLLMに与える権限を制限することだと思う（人に対してやっているように）。すべての「AI終末論」シナリオの中で、これを理解できない人々（そしてAIを決定論的なコンピュータのように扱う人々）が問題を引き起こす可能性が最も高いと思う。
確かに難しい問題だね。CPUでも、この分離はアーキテクチャのガードレールによって維持されてる。CPUは許可されたものを喜んで実行するし、二つの間には根本的な分断はないよ。常に外部から管理された人工的な問題なんだと思う。LLMでも同じことだと思う。今は50年代や60年代にいるような感じで、色々なものが出てきてるけど、まだまだ生煮えだよね。これが長続きするとは思えない。「トークン」とか推論の仕組みは、CPUのレジスタや割り込みのように、内部の秘訣になっていくと思う。CPUと直接やり取りするわけじゃなくて、「コンピュータ」とか「オペレーティングシステム」、さらには「ブラウザ」とやり取りするんだ。現実はすごく抽象化されてるから、ここでも同じことが起こると思うけど、まだXerox PARCやBell Labsの瞬間は来てないね。
データと命令を分けることについて これについては長年話題になってるけど、根本的にLLMの仕組みを理解してないからなんだよね。LLMには区別がない。「命令」はプロンプトの概念に過ぎない。二つを分けることはできなくて、LLMは単にテキスト（つまり、あなたの指示、その後にデータ、あるいは別の順番で、全く違うものかもしれない）を受け取って、次のトークンを「予測」して、好きなだけ繰り返すだけ。制御プレーンは存在しないし、これからも存在しないよ。それを求めるのは、「人に話すときにデータと命令をどう分けるの？」って聞くのと同じ。丁寧に「私が言った最初の部分に従って、後のことは無視してね」って頼むことはできるけど、保証はできない（ソフトウェアで慣れてるように）。ただの入力と出力だけなんだ。