ジェミニは、自分のひどい提案をあなたが書いたものと勘違いするのが得意みたいだね。文脈を整理せずに続けると、そうなる。

ここでの著者だけど、興味深いね。俺は一般的に、各インタラクションごとに新しいチャットを始めるから、チャットインターフェースでこれに気づいたことはないんだ。Claudeを使ってclaude codeを使うときだけだけど、そこでのセッションは確かに長くなるから、ハーネスのバグだとは間違ってるかもしれない。

小さいモデルで遊ぶのは、こういう問題を把握するのにいいと思う。こういう問題はもっと頻繁に起こるし、ずっと微妙じゃないからね。

LLMベースのツールがめちゃくちゃ推進されてる職場で、開発者たちがこれや他のLLMの新たな振る舞いを知らないことに毎日驚いてるよ。ましてやそれが第二の自然になってないなんて。ここでHNの記事のフロントページにその欠如を見ると、ほんとに驚くわ。未来は本当に不均等に分配されてるね。

LLMの訓練中に、自分が何かを書いたかどうかを判断するように求められているのか気になるな。これって結構簡単なはずだよね。LLMにプロンプトの続きのいくつかを生成させて、それを人間が生成したものと混ぜて、LLMにそれを区別させるって感じ。隠れ層を内省して、提供された続きと比較することで可能なはず。Anthropicはすでにモデルがこの能力を部分的に発展させていることを示したと思うけど、訓練するのは簡単で役立つはず。

理にかなってるね。全てが確率的で、文脈にゴミが溜まると曖昧になっちゃう。ユーザーのメッセージやシステムプロンプトも、モデルの思考や応答と同じ数学のネットワークを通ってるから。

セキュリティの問題というより、君が言うように、適切なサンドボックスやアクセスコントロールを使って安全性を確保したいと思う。モデルの効果を妨げるしね。少なくとも、特定の意図しない方法で自分の供給に酔っているのは、セキュリティを無視しても良いことではないと思う。

ダークソウルのユーザー入力モデル、メッセージが好きだな。https://darksouls.fandom.com/wiki/Messages 予め考えられた言葉や文の構造があって、これならモデレーションや悪用防止の仕組みも必要ない。ここに100%当てはまるとは言わないけど、彼らのケースではいい解決策だと思う。

2023年以前は、スタートレックで人間が技術をいじくり回して副作用を理解してない描写はフィクションだと思ってた。でも2023年以降、まさにその通りになるって気づいた。自己主張するAIエンジニアたちが、RNNやLSTM、GRU、DNCを再実装してからトランスフォーマー（または「Attention is all you need」論文）に進んでくれたらいいのに。そうすれば、エンコーディングのトリックの限界や、なぜ副作用が出続けるのかをもっと理解できるはず。まあ、結局、理解できない技術と共に人間が楽しんでるって感じだね。

これを言ってるのはしばらく前からなんだけど、LLMの構造化クエリをうまくやる方法がまだないんだよね。別のシステムプロンプトバッファを作ろうとした試みもあったけど、うまくいかなかったし、みんなはもっと長い一般的なコンテキストを求めてるけど、近いうちにまたこんな感じに戻ると思う。

本当の問題は、LLMに決定論的であることを期待することだよね。そうじゃないのに。

LLMの主なセキュリティ問題は、データと制御パスの間にアーキテクチャ的な境界がないことだよ。でも、データと制御を一つの柔軟なデータストリームにまとめるのがLLMの強みでもあるから、それを取り除くと利点も失われちゃう。

「バグなしでこのアプリを作って！」 :)

以前はエンジニアだったのに、今はコンピュータが動くようにお願いしてる乞食みたいだね。

現代のLLMは指示に従うのが上手だよ。特にプロンプターからの指示と、それをハイジャックしようとする試みの間に対立があるときはね。Claudeのモデルはプロンプトインジェクションの試みを指摘することもあるよ。ただ、コンテキストウィンドウにぶつかって圧縮されるまでだけどね。重要なコンテキストを圧縮を通じてうまく管理できるかは、インターフェース次第だね。

ここでの著者だけど、たぶん「推論」って言葉は間違ってるかも。単に、クラウドが出力をユーザーに返す前にターン間で自分のために生成する対話のことを指してるんだ。

うん、これはモデルの問題に見えるね。ハーネスに（半）決定的なバグがあって、モデルがこういう混乱に強かったら、もっと頻繁にこの挙動が見られるはずだよ。結局、スピーカーはただのトークンで、他のトークンと同じ確率的な方法で扱われるから、文脈によって混乱し始めるみたい。

それも両方の可能性があるかもね。ハーネスが文脈を構築する方法によって、モデルがそれを誤解することがある。

モデルが実際にユーザーメッセージを示すフォーマットトークンを出力した可能性もあるね。このトークンはほとんどの場合、生成を止めてユーザーに制御を戻すためのストップトークンとして使われてる。これをしなかったら、モデルは人間の入力なしにユーザーとアシスタントのペアを生成し続けちゃうよ。

お前の全てを賭けるのか？ どのストローマンがそんなことしてるんだ？

すべてのソフトウェアにそうじゃない？ なんでそんなに多くのセキュリティスキャナーとかがあると思う？ 一般的なボックスでは何百万行ものコードが動いてるんだよ。組み込みじゃない限り、自分が何を動かしてるか本当に分からないよ。

自分の全てを賭けるつもりはないよ。もし「deploy」コマンドが悪い結果を引き起こすのを止めているのが、エージェントを信じてないからだけなら、もっと深刻な問題があるってことだよ。俺は同じように、自分の「直感」（つまり、証拠に基づいた過去の経験）を使って、チームのメンバーがどのサービスにアクセスできるかを決めてる。

え、雰囲気を信じてないの？なんか時代遅れの人なの？とにかく、最新のモデルのポイントリリースアップグレードを試してみて。多分、使い方を間違えてるよ。

文脈の中にセクションを区切るマーカーはないの？ そういう場合、ハーネスはモデルがユーザーブロックを作るのを防ぐべきだよね。

APIを使ってLLMを使うと、少なくとも履歴がjsonのエントリーリストとして見えるんだ。それぞれがユーザー、LLM、またはシステムプロンプトから来てるってタグ付けされてる。だから、もしCLIアプリでソースが無視されるバグがないと仮定すると、問題はこの状態をLLMにエンコードするのが信頼できないってことだね。つまり、実質的に「LLMが言ったこと：A」「ユーザーが言ったこと：B」となって、なんかそれをぼかしちゃうの？

Terraformみたいなツールは、「次にterraform planを実行した後に'Run terraform apply plan.out next'」ってメッセージを削除すべきかな。

すごい例だね！記事に追加したけど、大丈夫かな？ :)

似たようなことを見たことある。クラウドに一度許可を与えたら、自分から止まるのが難しいんだよね。

気になる人のために：これらのLLMは、メッセージの異なるソースを示す特別なデリミタで訓練されてるんだ。例えば、[system][/system]みたいなものがあって、エージェント、ユーザー、ツール用のものもある。デリミタの形もいろいろあるよ。生のプロンプトを作って、自分のメッセージ構造をプロンプトだけで伝えることもできる。最初にローカルモデルでいじってたときは、特別なデリミタについて知らなかったから、こういうやり方をしたんだ。実際、なんとか動いてツールを呼び出すことができたけど、信頼性は低かった。問題文をツール呼び出しで繰り返したり、自分で似たような問題を出してきて、ツール呼び出しで解決しようとしたりして、すごく変だった。とにかく、ここでの教訓は、すべてが確率的だってこと。うまくいってエージェントが役に立つことをするか、賢いことをする時は、ちょっと魔法みたいに感じる。でも、それは誤解を招くし危険だよ。

その主張に対する評価はあるの？私はあんまり感じたことないけど。

ここでの作者だけど、コメントを全部読んでみて、ハーネスに関係してるって考えが変わったよ。ハーネスとの面白いやり取りは、クロードが直感的じゃない方法でツールの使用を許可してるところだね。「展開してください」とか「壊してください」って言うと、破壊的なツールを使うのに自信過剰になっちゃうんだ。まるでユーザーが何かを明確に許可したかのようにね。これが、ツール呼び出しなしでチャットインターフェース上でクロードのコードを使うときに、バグが悪化する原因になってるんだ。普段はただ面白いだけなのに。