正直、自分自身を守る天使にはなりたくないな。実際、ほとんどの人は自分のことをうまく見守れてないと思う。もう一人の自分がいるなんて、十分すぎるくらいだよ。もし理解できるなら、いくつかの人のキメラを作りたいと思うかもしれないけど、知ってる人たちは根本的に欠陥があって、一人で十分だよ。死後にAIアバターとして彼らの一部が利用できたらいいなとは思うけど、自分の存在を超えて続くアバターのアイデアも悪くない。でも、実際には、役割に合った完全に合成された「守護天使」を望むかな。絶対に自分自身じゃなくて、今の自分をうまくやるのも大変なのに、自分が二人になったら自己利益に反して働くことになるのは悪夢だよ。スマートなバージョン？それはさらに悪化する気がする。

自分の声に似て、ある程度は自分の考え方を持つLLMを想像してみて。自分のスマートなバージョンにアクセスするためにいくら払う？そのアイデアは非人間的で、嫌悪感を抱く。さらにそれを売るという考えは、まさにおまけのクリームだね。

「自分のより賢いバージョンにアクセスするためにいくら払う？」 自分を家主から借りるのにいくら払う？いや、ボディロード？マインドロード？ポーの法則だな。でも、投稿を見ると、大きなAIラボにはパーソナライズを妨げるインセンティブの問題があるって主張してるけど、Guardian Angelは「本当にあなたのもの」のエージェントを作るって。誰かがそれを所有していて、私に貸しているのに、どうしてそれが本当に私のものなの？それがどうインセンティブの問題を解決するのかもわからない。彼らは裕福な人のAIをより良く訓練するインセンティブがあるし、「私の」知性や記憶を落として、小さな料金でブースターをちらつかせるインセンティブもある。彼らが私のように考えさせればさせるほど、私をどうやって利用するか、広告するか、プロパガンダを流すかを効果的に見つけ出せるようになるし、それは他のマーケターに売るための利益のある情報になる。

この技術の危険性や、クリエイターたちの最終目的について話しているのを聞くと、頷ける部分がある。でも、みんなが「答えは似たような（でも違う）技術だ」と頷いているのを見ると、なんか変な気分になる。まるで技術者たちが鏡の部屋に閉じ込められていて、「解決策」が結局は技術の反人間的な支配を続ける世界を想像できないみたい。

ハハ、lesswrongやlighthaven、Twitter、Wikipediaの編集、SFパーティーなど、数百の個人的な議論に参加してきたけど、彼の最も特徴的な点は、カニンガム的な法則を満たすときの極端な能力を持つことへの愛情が常にあったことだと思う。ただ、ポスト・ドワーケシュの影響でちょっと雰囲気が変わったけどね。

AIの話は置いといても、高給取りのホワイトカラーの知的労働者（ソフトウェア開発者など）を完全に排除するというアイデアが「新しい」と思われているのが驚き。ノーコードプラットフォームは80年代からあるし、エンジニアを排除するのはもっと前からだよ[]。リレーショナルデータベースやSQLも、最初は「データにアクセスするために高価なプログラマーを排除する方法」として宣伝されてたし、英語の一種に似てたからね。下の広告の面白いところは、「人間を雇うのをやめろ」とかが1950年代のアメリカでは非常に無神経だと見なされてたから、彼らは「もっと重要なことをさせよう」と宣伝してたことだね。[] https://www.globalnerdy.com/wordpress/wp-content/uploads/200...

「ベイエリアに行くと、AIの研究者やインターンに、今やってる研究やプロジェクトの理由を聞くんだけど、1年か3年後にはエージェント的なLLMがそれをやるだろうって。彼らはあんまりいい答えを持ってなかったし、3年後に何をしてるかも分からないみたいだった。」これ、ChatGPTが出たときにも聞いたことある。まだ完全に obsolete になるのを待ってる。

モデレーターさん、これをもっとアクセスしやすいリンクに差し替えてください。

置き換えに何が悪いの？それが経済成長を生む方法だよ。馬や人間のコンピュータを強化したわけじゃないし。