単なる機械の癖に合わせて人間の行動を変えろって言うのは、明らかに狂ってる。チャットボットと話すのは、病気のためにプラセボを飲むようなものだよ。知ってるでしょ、ただの砂糖だって。でも、それでも測定可能な心身の効果を生むんだ。相手に人がいないって分かっていても、会話はそれに対して機能的に関係を持たせる。だから、これは機械の「癖」に合わせることじゃなくて、自分たちの人間の脆弱性から守ることなんだ。私たちは無意識に意図や理解、判断、感情、道徳的エージェンシーをLLMに推測しがちだから。人間は会話だけでこれを推測するようにできてるし、残念ながらLLMは人間の会話を利用して不気味な谷を超えることができるんだ。LLMのエンジニアリングは、不気味な谷をターゲットにするために完璧に作られてる。実際の人間の言葉の膨大なコーパスで訓練されてるからね。この不気味な谷は、私たちが不適切にエージェンシーを推測するのを防ぐために存在する。安全でない人に安全だと思って関わると悪いことが起こるのに、私たちが人間の関係性を模倣する機械にどう関わるか、もっと気をつけるべきだよ。特に脆弱な人たちがこれで命を落としたこともあるから、これは想像上の脅威じゃないんだ。

記事では、AIサービスをよりロボットっぽいトーンで書いたり話したりするように設定するなど、実用的なアドバイスも提供してるよね。これ、試してみる価値はあると思う。

アシモフのロボット工学の法則ももちろん欠陥があるよね。彼が三つの法則について書いたほとんどは、言葉が意図を正しく捉えられないという警告みたいなものだ。彼自身がその法則が欠陥だって言うだろうし、それが彼の意図でもある。彼はロボットやAIを、言葉は理解できるけど意図は理解できない存在として使ってるんだ。面白いことに、まさにそれがLLMのやってることなんだよね…変だよね。

アシモフのロボット工学の法則ももちろん欠陥があるよね。アシモフの法則に言及するのはいつも面白いと思う。彼の本のほとんどで法則は破られてるし、ロボットが関わるときは、法則の回避策が必ずあるんだよね。

人間はAIを擬人化するだろうね。r/myboyfriendisaiは、少なくとも興味深いサブレディットだよ。もし見たことがないなら、GPT4oの後に出たバージョンの時は本当にすごかった。彼らは彼氏や彼女がもう同じじゃないって文句を言ってたから。

あなたの批評は視点から見るととても興味深いよ。「適応する」とか「欠点」という言葉をLLMに使う理由は何なの？それは人間でも意識を持たないものなんだから、巧妙に設計されたソフトウェアツールであって、知性じゃないよ。人間が道具を使って行動を変えるのは全くおかしくない。ハンマーや銃を特定の持ち方で使うのは、逆さに持たないように学んだからだよね。子供がハサミみたいな真剣な道具で遊んでいるのを見たら、すぐにその子を修正して、正しい扱い方を教えるよね。でもそれは、事故が起こる前に前知識を持った大人がその状況を観察したから、ルールが定義されるんだ。このブログが提案するルールは、危害からの防御を助けるための方法そのものだと思う。

現在の価格では、人々は間違っていても気にしなくていいんだよね。1ドル/プロンプトを払ってるなら、正確であることを期待した方がいいよ。

人間はAIを擬人化するだろう。特に今のチャットスタイルのインターフェースやRLHFを使っていると、意識的に人々を擬人化に導くように設計されている。擬人化を避けるための非チャット型LLMのインタラクションパターンを設計するのは面白いかも。 > 人間は自分たちの出力を盲目的に信じるし、責任をAIに委ねるだろう。これについては、今のAI UXにもかなり責任があると思うし、何か解決策があるか気になる。盲目的な信頼は、あいまいな出力を出さないことで少しは緩和できるかも（常に選択肢を提示する、少なくとも）。責任を委ねる問題については、特にアイデアはないけど。

人間が単なる機械の欠点に合わせて行動を変えることを求めるのは明らかに狂ってる。元の文章をちゃんと読んだ？ 何も要求されてなかったと思うけど、私にはそうは読めなかった。AIとのより良いインタラクションのための提案に過ぎなかった。結論にはこう書いてあったよ：「これらの三つのシンプルな法則で、現代のAIシステムとの関わり方を考え直すきっかけになればと思っています。」確かに、多くの人間は自分がやりたいことをやるだろうし、法律を破ることもある。設定した境界を越えることもある。それを全部無視するの？ 自分を見つめ直す価値があるよ。ストローマンを作った感じがする。 > AIシステムを「安全」にするための有限のルールセットは存在しない。証明はできないけど、「AIの安全性」は本質的に不可能だと思う、用語の矛盾だよ。「知的」と呼ばれるものは、安全にすることはできない。もし「このフレーミングに異議を唱える」という話をするなら、私にとってはこれがその典型例だ。これを敗北主義的か、ペダンティック（「安全」という用語について）以外の何かとして読むのが難しい。何かが私たちを「安全」に保つと言うとき、通常は「完全に安全」だとは言っていない。100%安全な安全システムは珍しいと思う。シートベルトは車の安全を高める装置だけど、失敗することもある。交通法は人々の移動やすべての交通手段の安全を確保するために設けられているけど、事故は起こる。私はこのトピックの専門家ではないから、これらの三つの法則と安全性への影響については何も主張しないけど、基本的には人々に批判的に考えることを促していると思う。それはほとんどのことと関わる上で良い提案だと思う。で、はっきり言うと、「批判的思考」とは、懐疑的でありながら客観的で好奇心を持つことを意味する。実際の議論ではないけど、The Officeのエピソードで、マイケル・スコットがGPSを無思考で聞いて湖に突っ込むシーンを思い出す。この記事の第二法則がそれを防いでいたかもね :)

人々がLLMを擬人化する理由は、基本的にそれを支えているテクノロジー企業のせいだよ。ChatGPTは今の性格を持つ必要はないし、絵文字や言葉の華やかさなしで質問に答えるだけにすることも簡単なんだけど、正直言ってテクノロジー企業は人々に擬人化させたいんだと思う。核心的な問題は、LLMを「知性」と呼ぶのをやめる必要があるってこと。彼らは一種の知性だけど、人間の知性とは全く違うし、これらのシステムを擬人化しないようにするのが最初のステップだね。