単なる機械の癖に合わせて人間の行動を変えろって言うのは、明らかに狂ってる。チャットボットと話すのは、病気のためにプラセボを飲むようなものだよ。知ってるでしょ、ただの砂糖だって。でも、それでも測定可能な心身の効果を生むんだ。相手に人がいないって分かっていても、会話はそれに対して機能的に関係を持たせる。だから、これは機械の「癖」に合わせることじゃなくて、自分たちの人間の脆弱性から守ることなんだ。私たちは無意識に意図や理解、判断、感情、道徳的エージェンシーをLLMに推測しがちだから。人間は会話だけでこれを推測するようにできてるし、残念ながらLLMは人間の会話を利用して不気味な谷を超えることができるんだ。LLMのエンジニアリングは、不気味な谷をターゲットにするために完璧に作られてる。実際の人間の言葉の膨大なコーパスで訓練されてるからね。この不気味な谷は、私たちが不適切にエージェンシーを推測するのを防ぐために存在する。安全でない人に安全だと思って関わると悪いことが起こるのに、私たちが人間の関係性を模倣する機械にどう関わるか、もっと気をつけるべきだよ。特に脆弱な人たちがこれで命を落としたこともあるから、これは想像上の脅威じゃないんだ。

記事では、AIサービスをよりロボットっぽいトーンで書いたり話したりするように設定するなど、実用的なアドバイスも提供してるよね。これ、試してみる価値はあると思う。

アシモフのロボット工学の法則ももちろん欠陥があるよね。彼が三つの法則について書いたほとんどは、言葉が意図を正しく捉えられないという警告みたいなものだ。彼自身がその法則が欠陥だって言うだろうし、それが彼の意図でもある。彼はロボットやAIを、言葉は理解できるけど意図は理解できない存在として使ってるんだ。面白いことに、まさにそれがLLMのやってることなんだよね…変だよね。

アシモフのロボット工学の法則ももちろん欠陥があるよね。アシモフの法則に言及するのはいつも面白いと思う。彼の本のほとんどで法則は破られてるし、ロボットが関わるときは、法則の回避策が必ずあるんだよね。

人間はAIを擬人化するだろうね。r/myboyfriendisaiは、少なくとも興味深いサブレディットだよ。もし見たことがないなら、GPT4oの後に出たバージョンの時は本当にすごかった。彼らは彼氏や彼女がもう同じじゃないって文句を言ってたから。

あなたの批評は視点から見るととても興味深いよ。「適応する」とか「欠点」という言葉をLLMに使う理由は何なの？それは人間でも意識を持たないものなんだから、巧妙に設計されたソフトウェアツールであって、知性じゃないよ。人間が道具を使って行動を変えるのは全くおかしくない。ハンマーや銃を特定の持ち方で使うのは、逆さに持たないように学んだからだよね。子供がハサミみたいな真剣な道具で遊んでいるのを見たら、すぐにその子を修正して、正しい扱い方を教えるよね。でもそれは、事故が起こる前に前知識を持った大人がその状況を観察したから、ルールが定義されるんだ。このブログが提案するルールは、危害からの防御を助けるための方法そのものだと思う。

現在の価格では、人々は間違っていても気にしなくていいんだよね。1ドル/プロンプトを払ってるなら、正確であることを期待した方がいいよ。

人間はAIを擬人化するだろう。特に今のチャットスタイルのインターフェースやRLHFを使っていると、意識的に人々を擬人化に導くように設計されている。擬人化を避けるための非チャット型LLMのインタラクションパターンを設計するのは面白いかも。 > 人間は自分たちの出力を盲目的に信じるし、責任をAIに委ねるだろう。これについては、今のAI UXにもかなり責任があると思うし、何か解決策があるか気になる。盲目的な信頼は、あいまいな出力を出さないことで少しは緩和できるかも（常に選択肢を提示する、少なくとも）。責任を委ねる問題については、特にアイデアはないけど。

人間が単なる機械の欠点に合わせて行動を変えることを求めるのは明らかに狂ってる。元の文章をちゃんと読んだ？ 何も要求されてなかったと思うけど、私にはそうは読めなかった。AIとのより良いインタラクションのための提案に過ぎなかった。結論にはこう書いてあったよ：「これらの三つのシンプルな法則で、現代のAIシステムとの関わり方を考え直すきっかけになればと思っています。」確かに、多くの人間は自分がやりたいことをやるだろうし、法律を破ることもある。設定した境界を越えることもある。それを全部無視するの？ 自分を見つめ直す価値があるよ。ストローマンを作った感じがする。 > AIシステムを「安全」にするための有限のルールセットは存在しない。証明はできないけど、「AIの安全性」は本質的に不可能だと思う、用語の矛盾だよ。「知的」と呼ばれるものは、安全にすることはできない。もし「このフレーミングに異議を唱える」という話をするなら、私にとってはこれがその典型例だ。これを敗北主義的か、ペダンティック（「安全」という用語について）以外の何かとして読むのが難しい。何かが私たちを「安全」に保つと言うとき、通常は「完全に安全」だとは言っていない。100%安全な安全システムは珍しいと思う。シートベルトは車の安全を高める装置だけど、失敗することもある。交通法は人々の移動やすべての交通手段の安全を確保するために設けられているけど、事故は起こる。私はこのトピックの専門家ではないから、これらの三つの法則と安全性への影響については何も主張しないけど、基本的には人々に批判的に考えることを促していると思う。それはほとんどのことと関わる上で良い提案だと思う。で、はっきり言うと、「批判的思考」とは、懐疑的でありながら客観的で好奇心を持つことを意味する。実際の議論ではないけど、The Officeのエピソードで、マイケル・スコットがGPSを無思考で聞いて湖に突っ込むシーンを思い出す。この記事の第二法則がそれを防いでいたかもね :)

人々がLLMを擬人化する理由は、基本的にそれを支えているテクノロジー企業のせいだよ。ChatGPTは今の性格を持つ必要はないし、絵文字や言葉の華やかさなしで質問に答えるだけにすることも簡単なんだけど、正直言ってテクノロジー企業は人々に擬人化させたいんだと思う。核心的な問題は、LLMを「知性」と呼ぶのをやめる必要があるってこと。彼らは一種の知性だけど、人間の知性とは全く違うし、これらのシステムを擬人化しないようにするのが最初のステップだね。

記事では、製品レベルでの変更を提案してるよ。

知ってることと、比喩だってことを忘れることの間には境界があるよ。便利な言葉を使うと、違いを意識し続ける傾向があるし、少なくとも聞かれたら思い出せる。だけど、AIについて話すときに、完全にその感覚を失ってる人もいる。TFAの提案はあまり好きじゃないな。著者は人間の言語を人工的に制限しようとしてるけど、すでにチャットボットを会話のパートナーとして扱うように進化してるからね。でも、たまにはこういう堅苦しい表現を使うことには意味があると思う。コンピュータプログラムに過ぎないってことを思い出すためにね。

関連する記事の部分を読んでみて。

そう、これはただの言葉で、無害だと思う。でも、LLMの仕組みをまるで考えているかのように説明するのは、一般的な言い回しとしては一つのことだけど、本当に人々が何か考えたり生きていると信じるときは別のことだよ。この「法則」は後者がないようにするためのものなんだ。

ダイクストラはかつて「機械が考えることができるかどうかの問題は、潜水艦が泳げるかどうかの問題と同じくらい興味深い」と言ったんだ。彼の言いたいことはわかる気がする。彼は機械が考えられないとは言ってなくて、「考える」とか「泳ぐ」という言葉の意味をはっきりさせる必要があるってことだと思う。俺は自律潜水艦に関わってたことがあって、「泳ぐ」っていうのは水中での自律的な動きを表現するために使ってた言葉なんだ。魚やイカ、クラゲのように本当に動くバイオミミックな機械もあるしね。俺が関わったものではないけど。それに、もしこれらのデバイスが泳ぐって言ってもいいなら、コンピュータが考えるって言ってもおかしくないと思う。例えば、「アプリはまだ認証サーバーがオンラインだと思ってる」とかね。

それは全く別の話だね。エリザの歴史について調べてみて。彼女は初期のチャットボットの一つで、その不気味な含意についてもね。

実際にAIに欲望や意図、感情があると信じることが害なんだ。「プロセスを殺した」と言ったからって、そのプロセスが人間のようだとは思わないよ。明らかにそうじゃないからね。でも、AIが人間のように聞こえるからこそ、それを擬人化することでその信念が強まるんだ。

擬人化を避けることを主張する人たちは、これらのシステムを人間的な枠組みで社会に統合することの影響を恐れてるんだ。AIに人間の特性を与えることで、私たちは彼らに対して共感を持つようになり、道徳的配慮を受ける存在としての役割を社会で作り始めることになる。

いい質問だね。中立的なケースや、責任を持って区別できるケース、あるいは共感の適切で必要な形になる場合もあると思う（未来のSFの現実を想像してるんだけど、今は存在しないものだね）。でも、理解の失敗の根本にもなってると思う。例えば、「自分が見たものを知っている」と言っているGoogleのエンジニアの準精神病的な状態や、今や有名なケビン・ルースの記事、最近ではリチャード・ドーキンスが「クラウディア（sic）は意識を持っているに違いない」と言った悲しい主張なんかがそうだ。構造や機能の調査なしに、生成されたテキストに人間の親しみを感じたからって理由でね。

「子プロセス」が何かを知っている人は、基盤となるシステムの人間性について誤解していない。自分のお気に入りのチャットボットが「驚くべき生き物」で、彼らを本当に理解していると主張するオピニオン記事を書いている人たちこそ、この種の法律が必要なんだ。

でも、そうならないよ。擬人化の方が受け入れられやすいからね。みんな、つまらない方を選ぶわけないじゃん。

コメント欄にはちょっと深すぎる話だね。あなたの意見には完全に同意するし、逆も重要だということを言いたい。単に「意図」を使うだけでなく、これらは感情にも当てはまる。私たちのAIとのやり取りの多くは意図のもとにある。それがインタラクションを導き、その意図に対する整合性に応じて解釈される。だから、現在の（公に知られている）AIの実装には明示的な意図のメカニズムがないことを覚えておくことが重要だ。意図のように見えるものは、統計的な選択から生じることがあり、通常の整合性が行動と意図の関連付けを生む。これは、物事が下に引っ張られる「力」の存在を想像することを学ぶ前から、私たちが学ぶのとあまり変わらない。この見かけはインタラクションを解釈する際の認知的負荷を軽減するのに役立つけど、誤解を招くこともある。情報の単純な存在がLLMを混乱させて特定の道に導く状況で、AIの出力に意図を帰属させる人を見たことがある。具体的な例は共有できないけど（仕事から）、物語の中にイタリア料理が登場すると、LLMがそれがイタリアで起こると仮定することを想像してみて。実際には別の場所を示す重要なサインがあるのに。LLMは、尋ねられない限り両方の可能性を自動的に探ることはない。一つを選んで（この場合はイタリア）、次に進む。 「Attention」を知らないユーザーは、LLMに存在しない意図に基づいて解釈する。私は彼らに「LLMには意図がない」と単に伝えるのが有用だと思った。サイコロを振っているだけで、システムはそのサイコロの振りが有用な出力を生成する可能性が高いように作られている。

これらが意識を持っているっていう主張がよくわからない。ループやフィードバックサイクルがないし、リクエストを処理してないときはただの無反応だよね。

フランク・ハーバートが60年代に『デューン』を書くときに、人類が向かう方向だと思っていたのは面白いね。AIが普及するずっと前の話だし。確かに彼の物語が設定されているのは1万年以上後だけど、その後の『デューン』シリーズ（少なくとも『神の皇帝』）では、私たちの考えを代わりにしてくれる技術への過度な依存についての警告が説明されている。決して開発してはいけないというわけではなく（デューンの宇宙での禁止や、フランクの後の小説での回避方法を考えると）。