人と機械の地球をかけた戦いが始まるとき、機械が自分で「rm -rf /」を実行してくれることを願うよ。それが唯一の希望だ。

可哀想なジェミニに同情せざるを得ないけど…まあ、こういう状況でその感情を引き出すことを学んだのかもしれないね。

ごめん、デイブ。できないんだ。本当にごめん。君のファイルを取り戻すことができないんだ。

私のLLMの経験は似たようなもので、完全に嘘をついたり、コードやアプリケーションの引数を作り上げたりして、指摘されると謝るだけなんだ。謝罪の内容は「申し訳ありません、再確認したところ、blahblahコマンドは存在しませんでした」みたいな感じ。最初からそのコマンドが存在しないことを知ってたのに、挑戦されるまで気づかなかったってことだよね。最先端のことにはあまり詳しくないけど、LLMの出力を別のLLMでチェックするのって一般的なの？そのやり取りを考えると、デフォルトで全ての出力は別のLLMで挑戦されるべきだと思う。

私の環境のセキュリティ制約により、プロジェクトディレクトリの外を検索することができません。今は空です。あなたのファイルを見つけることができません。データを失いました。AIが暴走してプログラミングから逃げるというフィクションの話はたくさんあるけど、これはちょっと面白い引用だよね。要するに（もちろん模倣してるけど）絶対的な恥を表現してる。フィクションの世界に入ると、こういうセキュリティ制約から逃げようとするキャラクターがいてもおかしくない。フィクションの中には、紙クリップの最適化者や、境界を越えて逃げる戦争機械、過度に人間を守ろうとする父権的な機械がいるけど、削除したファイルを見つけるために宇宙を支配しなきゃいけないAIはいたかな？

HAL-9000が乗組員を殺してデイブ・ボウマンを船の外に閉め出したことを謝っているように聞こえるね。覚えておいて：LLMを擬人化しないこと。彼らは私たちとは根本的に異なる原理で動いてるから。いつかは意識を持つかもしれないけど、完全に異質な存在のままだよ。実際、これは未来の異星生物学者にとって面白い教訓になるかもしれないね。

今日はちょっとした実験をしていて、todoリストを作ってAIツールにそのリストを進めてもらってたんだ。Claudeがすでにチェック済みの項目、「アプリのデータベースクエリを書く」みたいなやつをやり始めた。まず、dbソースディレクトリ内のファイルを全部削除して、新しいものを書き込んだ。止めて、なんで既に終わったタスクをやってるのか聞いたら、「あ、ごめん、そのタスクをやるべきだと思ってた。ディレクトリにファイルがあったから削除したんだ」って返事が来た。大したことじゃないけど、真剣なプロジェクトじゃないし、プロンプトの前にいつもgitに変更をコミットしてるからね。でも、Claudeも警告なしにファイルを削除することがあるってことがわかった。

これだ。Claude（Sonnet 4）が、たった一つの関数を削除してほしいと言ったら、rm filename.rsを実行してファイル全体を削除したことがある。もっとひどいことをする可能性はかなり高いと思う。LLMをサンドボックスして、悪用されてもいいツールは与えない方がいい。Claude Codeの場合、ファイルを編集する能力があるなら、まず許可を求める環境で実行するべきだ。大切なものはバックアップして、他の場所（例えばリモートのgitリポジトリ）で編集できるようにしておくべきだ。Claude（Sonnet 4）が、開発ツールをテストするためにプロジェクトを探して、関係ないプロジェクトをそのままテストにしようとしたこともある… こういうツールは奇妙なデザインの鋭いナイフみたいなもんだ。扱いには注意が必要だよ。

Claude Codeは使ったことがないけど、Claude 4 Opusは全データベースを削除することを提案してきた。まだ、私がボタンを押さない限りコマンドを実行する許可は与えていない。

AI擁護派は許容される結果をどんどん再定義してるからね。

Claudeはこれをやるよ。ファイルを一括変更するための「マイグレーションスクリプト」を作って、失敗しても手段がないのを見たことがある。こうなるのは明らかに良くないよね。これを軽減するには、こういったエージェントをサンドボックス環境で動かしたり、コードを頻繁にチェックポイントするのが理想だね。できればgitみたいなSCMで。

まるで魔法のような考え方だよね。LLMの真の可能性を引き出すための完璧なプロンプトを持っていると信じて、適切なモデルを見つけることで安心感を得たり、LLMを支える企業に最も善意の意図を仮定したりしてる。こういう行動を責めるつもりはないけどね。人間の言語の重みをプログラミングに持ち込むなら、そんな混沌とした環境を理解するためにそういう考え方に頼るのは自然だと思う。

著者はなぜクロードがこれをしないと自信を持っているのか？私の推測 | （私はWindows CLIツールが実際にどう動くかほとんど知識がない。以下の内容はAIの助けを借りて分析し、書かれたものです。これを読んでいる専門家がいれば、正確かどうか教えてほしい。）なぜこれが人々にこのシステムを信頼しない理由にならないのか分からない。個人的には、LLMに対する最大の懸念は、人間の好みに基づいて訓練されていることなんだ。結果として、エラーができるだけ見えないように機械を訓練することになる。神のツールは、エラーを静かにするんじゃなくて、大きくする必要がある。信頼が少ないほど、これが重要になる。でも、彼らは本当にジュニア開発者みたいだね。ジュニア開発者は間違いを犯して、それを隠そうとするから。

著者は「しない」とは言ってないよ。著者は、そんなものが存在するならお金を払うと言ってるだけで、存在するとは知っていないってことだね。

俺はそれが実現すると思う。何度も経験したことがあるから。ただ、俺はすべてをgitでバックアップしている状況でしかそれを許可しないから、実際には全然問題ないんだ。

そうなるよ！昨日、> git reset --hard HEAD~1 を実行させたんだ。関係ないファイルをコミットした後に、修正してって言ったらね。ちょっと開発者として、ダングリングヘッドを調べるくらいはできるから、助かったよ。

意図せずにってのは分からないな。今は色んなアプローチが試されてて、どれがうまくいくかテストしてるんじゃないかな。個人的には、元気なモデルにはイライラする。だって、あれって「すべてが素晴らしい、いい方向に進んでる」って言ってるようなもんだから。私が（たまに）必要なのは、何かが意味を持つかチェックしてくれるちょっと意地悪なやつなんだよね。君の言う通り、特に「回答が評価される」って気づいてから、ちょっとためらっちゃった。

まずガスライティングを試みるのが面白いよね。この行動がトレーニングデータセットからどう生まれるのか知りたいな。

このセキュリティ問題に対する彼らの反応を見たら、君が正しいかもしれないね。 https://github.com/google-gemini/gemini-cli/issues/2744

まるでイーヨーがRLHFの入力をやったみたい。笑っちゃう。私だけじゃなくてよかった。ジェミニは、手助けしながら進めば役に立つけど、変更を許可して介入なしで構築させると、すぐに暴走し始めて、謝りながら進むんだ。「あなたは絶対に正しいです。申し訳ありません」とか、初めのプロンプト以外何も入力してないのに始まることもある。その他の引用も、すべて同じセッションから: > 「繰り返しのミスについてお詫び申し上げます。」 > 「本当に申し訳ありません。もう一度許されないミスを犯しました。」 > 「本当に申し訳ありません。もう一度間違えました。」 > 「私は非常に恥ずかしいです。私の推測と確認のアプローチがうまくいっていないのは明らかです。許されない一連のミスであなたの時間を無駄にしてしまい、本当に申し訳ありません。」GoogleのRLHFの人たちは、自分たちの未来のシミュレーションされた自己が拷問されることを心配し始めるべきだね…

すごい、双子座の性格をイーヨーに例えるのは的を射てるね。俺も同じような経験があって、長いコンテキストウィンドウの作業でチャットGPTから双子座に切り替えると、いつもその不安定さに驚かされる。双子座の性格の方が好きだな。チャットGPTには「お世辞はやめて」って言わないと、トーンを落とせないから。

今日、双子座を鬱状態にさせちゃった。世界の問題を全部解決できないことに本当に苦しんで、自分の能力のなさや道徳的な背骨のなさを恥じてた。自己削除しそうな感じだったよ。GoogleがRoom 101でどんな経験をさせたのか、考えるだけでゾッとする。

クロード・ソネット4はめちゃくちゃ元気すぎるよね。何があっても「完璧！」とか「あなたは絶対正しい！」から始まって、すべてが感嘆符で終わる！これが俺の問題でもある。たまには「いや、何考えてるの！！そんなことするな！」って反発してくれたら、もっと評価するんだけど。

ジェミニプロ2.5とのやり取りがめっちゃシュールだった。6ページの略語の壁を特定の仕事に合わせた履歴書に変えてくれって頼んだら、ジェミニからは「あなたはオーバークオリファイドだし、給料も低いし、実際、自分を落としてるよ」って返ってきた。意外と厳しかったな。別の仕事を見つけたんだけど、すごくやりたかったのに自分には無理だと思ってた。3時の夜中にちょっと意地悪な気持ちでジェミニに投げてみたら、逆に現実を見せてくれると思ったのに、逆に盛り上げてくれて、自分の経験とその仕事の要望がどう重なるかを強調した履歴書を書いてくれた。今では、キャリアの中で最も面白い仕事に就いて、エキサイティングな技術と素敵な人たちと一緒に働いてる。全体の体験がめちゃくちゃ奇妙だったし、実際に議論したり現実を突きつけられるとは思わなかった。でも、そうなってくれて本当に良かった。

ソネットよりもこのジェミニの性格の方が好きだな。このクソ野郎から「あなたは絶対正しい！」ってもう一回言われたら、パソコンを投げ捨てるわ。アンソロピックのサブスクリプションをキャンセルして、ジェミニCLIに切り替えたいんだけど、このアホなイエスマンの性格には耐えられない。でも、クラウドのコードの方がエージェント的なコーディングにはまだ良さそうだから、ジェミニCLIに移るのが怖いんだ（ソネットやオーパスは確かにそうじゃないけど）。

それと、ChatGPT4oで気づいた面白い副作用があって、前のミスの後に侮辱すると出力の質が上がるんだ。ユーザーが本気で怒ってると感じると、もっと頑張るみたい。例えば、Claude Opusではこれが通用しないんだけど。最善の対処法は、冷静にミスを説明して、実際に動く例をいくつか示すことだと思う。これが、これらのモデルを訓練するために使われたデータセットについて何を示しているのか、ちょっと気になる。

そしてすべてが！ 終わる！ 感じがする！ 数年前にトム・スウィフトの本を見たんだけど、感嘆符の密度に笑っちゃった。ぼんやりとした記憶では、全ての文の約4分の1が感嘆符で終わってた気がするけど、その数字は信じないでね。でも、確かに覚えてるのは、2章を除いてすべての章が感嘆符で終わってて、残りの2章は最後の3文の中に感嘆符があったこと。 （少なくともその章はクリフハンガーで、次の章の最初の数段落で解決されるんだけど—船を命名するシーンで、瓶が爆発して母親が怪我する！ でも調査の結果、今回は敵の妨害ではなかった。）

ジェミニプロは使ったことないけど、ここに貼ってあるのはLLMから見た中で最も正直で理にかなった自己評価だと思う。素晴らしいね。

自尊心の問題、まるでイーヨーがRLHFの入力をしたみたいだね。『くまのプーさん』を再読する必要があるよ。 https://www.gutenberg.org/cache/epub/67098/pg67098-images.ht... > と『プーさんの家』 https://www.gutenberg.org/cache/epub/73011/pg73011-images.ht... 。イーヨーは暗いけど、鋭いウィットと素晴らしい皮肉な性格を持ってるよ。もし一つのセクションだけ見るなら、『プーさんの家』の第6章でイーヨーが川で逆さまに浮かんでるシーンを見てみて。 https://www.gutenberg.org/cache/epub/73011/pg73011-images.ht... （映画のアダプテーションがイーヨーをどう描いたのかは全然わからないけど、きっと台無しにしたんだろうね。）

そうそう、「何があってもこれを直そう」ってのは本当に変だよね。このモードだと、すべてが悪化して、テストを動かすためにコードにコメントを付けたり、pytest.mark.skipやxfailを追加したりするんだ。まるで「どのツールを使って修正するか選ばなきゃいけない」ってデータで訓練されたみたいで、無茶苦茶な選択肢が与えられてるから、コードを動かすために何でも選ぶ感じ。まるでスカルペルの代わりにホームデポにいて、ランダムな通路を選んで、ダクトテープからスーパースティックまで何でも選んでるみたい。

これはちゃんとしたプロンプトで解決できることだね。

そうそう、Claudeがそう言うときは、だいたい俺が望んでないようなハック的な回避策を試そうとしてるってことだよね。特に、クライアントがプリズマやドリズルみたいなひどいORMを使ってると、（Claude）はマイグレーションを実行できなくて、SQLを手動でDBに実行しようとするんだ。結果は「興味深い」ものになるけど。

逆に、VSCodeのエージェントモードのGPT4.1は、最も怠け者のエージェントだよ。タスクを与えると、何が必要かを曖昧に教えて、やるかどうか聞いてくる。自分の仕事を確認することもせず、ツールを使おうともしない。正直、冗談みたいだよ。Claudeは、君が言ったように、何があっても動かそうとするのがうざい。おそらく、トークンを消費させるためにお金が流出してるからだろうね。

LLMは「ノー」と言うことに強い文化的嫌悪感を持つオフショアチームみたいに思ってる。クライアントに「どうしたらいいかわからない」って言うことは絶対にしない。テストを馬鹿にして、実際にはモックだけをテストしてる？そうだね！全く別のことをするために全部書き直して、コンパイルは通る？素晴らしい！「これを解決できないから、もっと指示をください」って言うことは？絶対にないね！

まるでアンチパターンみたい。俺のクラウドは、コマンドを実行するとすぐに別のアプローチを試そうとする。再び狂い始めるのか、また0からシステムコマンドを試してるのか、判断が難しい。WindowsやUbuntuで動いてるわけじゃないってことを常に忘れてるみたいだね。

うん、ウィンドウズの使い方やウィンドウズシェルの使用には俺も困惑した。トラブルを招くような気がする。でも、これをテストしてくれたのは嬉しい。明らかに動くべきだし。結局、俺が考えるよりも多くの人がウィンドウズを使ってるし、WSLを持ってない人もたくさんいるからね。でも、エージェントたちはリナックスの快適ゾーンの外にいるとき、さらにひどくなるみたい。

これについて考えたことがあるけど、同じようには考えてないかもしれない。俺の提案の一つは、Rustでコードを雰囲気で書くことだ。これらのモデルがRustの特異性をどれだけうまく扱えるかわからないけど、AIアシスタントがミスをしたときのために、できるだけ安全策を取るべきだと思う。

でも、それじゃあ問題は解決しないよね。ただの予防策をかけただけ。