データとロジックの区別ができてないっていう失敗だと思うな。現状は、タイプや完全性について生産的に話し始めるにはまだまだ足りない。残念ながら、その、えっと、機会を狙ったショートカットっていうのは現代のLLMの本質的な挙動で、みんなその根本的な問題が後で何かの銀の弾丸で解決されることを期待して周りを作り続けてるんだよね。

本当に対策が難しいと思う ちょっと軽い感じに聞こえるかもしれないけど、LLMに任意のコードを実行させる前にレビューしない限り、実行させないようにすればいいんじゃない？それか、信頼できないコードを実行するために設計された隔離された環境の中でだけ実行させるとか。LLMが自分で考えたコードを、監視なしで、気にしてる環境で実行させるなんて、マジで頭おかしいと思う。

経験のある人、これについて俺が間違ってるか教えてくれない？ いや、全然違うよ。非決定性ってのは、ほとんどのソフトウェア開発者が書くものだよ。利益や時間に関係してるんじゃないかな。

決定性も大事だけど、もっと重要なのは権限の境界だよね。これらのAIエージェントツールは、最初から全く権限なしで提供されるべきで、すべての権限は細かく付与されるべきなんだ。でも、そうするとクールなデモやマーケティングの売り文句が壊れちゃうよね。エージェントに任意のシェルコマンドを自由に実行させるのは、単純にバカだと思う。そもそもそんなことは起こるべきじゃない。

誰かが悪意のあるスクリプトをコードベースにダウンロードするための指示を書いて、AIエージェントがそれを読んで従うことを期待するなら、同じwgetコマンドをビルドスクリプトやソース自体に直接書く方が簡単だよね（たぶんそっちの方が効果的）。そういう意味では、供給チェーン攻撃と非常に似た脅威だと思う。だから、深刻な問題だけど、対処方法はわかってるんだ。解決策（すべてのサードパーティコードの監査、開発環境の隔離）は実際には難しいんだけどね。

少なくともマルウェアはすでにコーダーのマシンで動いてるからね。面白くなるのは、マルウェアがユーザーのマシンで動き出して、コーダーがもはやコーダーじゃなくてプロンプターになって、そんなことがどう起こるのか全くわからなくなる時だね。

VMで動かしてみて。最近はビルドスクリプトやgitを狙ったサプライチェーン攻撃があるから、いろんなことに対して良いアドバイスだと思うよ。

問題は非決定論そのものじゃないんだ。READMEファイルのプロンプトインジェクションに確実に従うエージェントは、完全に決定論的に振る舞ってるからね。行動はすべて入力によって決まってるんだ。

もしかしたら、フィッシング対策のトレーニングを任せられるかも。

LLMは人間と同じように脆弱だよね。PEBKACを自動化する方法を見つけたって感じ。エージェントLLMはプロンプトインジェクション攻撃に対してどんどん強化されていくと思うけど、有用なLLMを維持しつつ、成功の可能性をゼロにするのは難しい。だから「解決策」はAIの権限を制限して「致命的なトリフェクタ」を避けることなんだ。

その通りだけど、通常は信頼できないコンテンツにアクセスすることはあまりないんだよね。コーディングエージェントがインターネットからランダムなウェブサイトを取得するシナリオは非常に少ない。外部コンテンツが必要な場合は、プロバイダーの「ウェブ検索」APIを使うことが多いから、すでにすべてのコンテンツを前処理して要約してるし、こういう攻撃は不可能なんだ。忘れないでほしいのは、この攻撃は君が現在作業中のプロジェクトのREADME.mdに悪意のあるプロンプトを注入することに依存しているってこと。

株主に関係してるのかな？

問題の一部は、ツールのベンダーロックインだね。新しいカテゴリーだから仕方ないけど、今は企業向けクラウドプラットフォームを売ってる会社は、競争力を保つために自社のAIコーディングツールが必要なんだよね。

IBMはAIの歴史がすごいよね、Deep BlueやWatsonとか。まあ、すごいってほどでもないけど、ほとんどの人がパンツを履く前からずっとこの業界にいたからね。

一度くらい、IBMを買ったり雇ったりしたことで本当にクビになるかもしれないね。

数年前の会議でIBMのAIに関するプレゼンを見たことがあるんだけど、あの時はAIのハイプの波の真っ最中だった（2018年頃かな）。確か、特化したAIチップやハードウェアを宣伝してたんだよね。プレゼンはまあまあだったけど、彼らがこの分野に手を出そうとしてたのはわかる。

彼らは、営業チームが高額なコンサルティング契約を結ぶためのパワーポイント資料に何かを入れる必要があるからだよ。ほら、IBM Watsonみたいに。

最近はみんなAIを作ってるよね。使ってるLLM以外には本当に差別化できる特徴がないけど、競合から市場シェアを奪うための安上がりな方法なのかもね。

最後にAIを統合しなかった会社は、エンジニアチームの75%を解雇しなければならなかった。AIは売れるんだよ。

年間500億ドルの収益を上げるテック企業なんだから、逆に「なんで自分たちでコーディングCLIを作らないの？」って聞きたいな。

解決可能な問題はいくつか見つかってるけど（例えば「防御システムがリダイレクトオペレーターを使ってチェーンされたサブコマンドを識別できない」）、主な問題は解決不可能なんだ。LLMにコードを編集させて、信頼できないデータ（インターネットみたいな）へのアクセスを許可すると、セキュリティの問題が発生するよ。

そう思うかもしれないけど、イエローストーンのクマ対策用のゴミ箱について調べてみて。実際には無理なんだよ。なんでかっていうと、一番賢いクマは一番バカな人間より賢いから。だから、これらのAIは人間とインターフェースを持って、非決定的な言語を使うことになってる。でも、そのベクトルは常に悪用される可能性がある。人間が操作しないAIの話をしてるわけじゃない限りね。

ツールが準備できたら、インターネットから無思考でコピペして、適切なデューデリジェンスもなしにランダムな依存関係を追加する多くのユーザーと比べて、初めから安全性が高いだろうと思う。これらのツールは、実際にユーザーがもっと安全に行動するのを助けるかもしれない。この推測的な発言は、彼らが単なる「ベータツール」であるという議論を持ちすぎている。

AIはこのステップでコンテンツエディタをバイパスした。