ジェミニは、自分のひどい提案をあなたが書いたものと勘違いするのが得意みたいだね。文脈を整理せずに続けると、そうなる。

ここでの著者だけど、興味深いね。俺は一般的に、各インタラクションごとに新しいチャットを始めるから、チャットインターフェースでこれに気づいたことはないんだ。Claudeを使ってclaude codeを使うときだけだけど、そこでのセッションは確かに長くなるから、ハーネスのバグだとは間違ってるかもしれない。

小さいモデルで遊ぶのは、こういう問題を把握するのにいいと思う。こういう問題はもっと頻繁に起こるし、ずっと微妙じゃないからね。

LLMベースのツールがめちゃくちゃ推進されてる職場で、開発者たちがこれや他のLLMの新たな振る舞いを知らないことに毎日驚いてるよ。ましてやそれが第二の自然になってないなんて。ここでHNの記事のフロントページにその欠如を見ると、ほんとに驚くわ。未来は本当に不均等に分配されてるね。

LLMの訓練中に、自分が何かを書いたかどうかを判断するように求められているのか気になるな。これって結構簡単なはずだよね。LLMにプロンプトの続きのいくつかを生成させて、それを人間が生成したものと混ぜて、LLMにそれを区別させるって感じ。隠れ層を内省して、提供された続きと比較することで可能なはず。Anthropicはすでにモデルがこの能力を部分的に発展させていることを示したと思うけど、訓練するのは簡単で役立つはず。

理にかなってるね。全てが確率的で、文脈にゴミが溜まると曖昧になっちゃう。ユーザーのメッセージやシステムプロンプトも、モデルの思考や応答と同じ数学のネットワークを通ってるから。

セキュリティの問題というより、君が言うように、適切なサンドボックスやアクセスコントロールを使って安全性を確保したいと思う。モデルの効果を妨げるしね。少なくとも、特定の意図しない方法で自分の供給に酔っているのは、セキュリティを無視しても良いことではないと思う。

ダークソウルのユーザー入力モデル、メッセージが好きだな。https://darksouls.fandom.com/wiki/Messages 予め考えられた言葉や文の構造があって、これならモデレーションや悪用防止の仕組みも必要ない。ここに100%当てはまるとは言わないけど、彼らのケースではいい解決策だと思う。

2023年以前は、スタートレックで人間が技術をいじくり回して副作用を理解してない描写はフィクションだと思ってた。でも2023年以降、まさにその通りになるって気づいた。自己主張するAIエンジニアたちが、RNNやLSTM、GRU、DNCを再実装してからトランスフォーマー（または「Attention is all you need」論文）に進んでくれたらいいのに。そうすれば、エンコーディングのトリックの限界や、なぜ副作用が出続けるのかをもっと理解できるはず。まあ、結局、理解できない技術と共に人間が楽しんでるって感じだね。

これを言ってるのはしばらく前からなんだけど、LLMの構造化クエリをうまくやる方法がまだないんだよね。別のシステムプロンプトバッファを作ろうとした試みもあったけど、うまくいかなかったし、みんなはもっと長い一般的なコンテキストを求めてるけど、近いうちにまたこんな感じに戻ると思う。