そうだね、環境の制約や機械がどこから来たのかについてもっと知りたいな。＞ 感情はない。アートもない。あるのは論理だけ。この純粋なヒューマニズムって、なんか失礼だし、傲慢に感じる。まるで私たちだけが「感情、アート、論理」を持ってるかのように思えるけど、実際には生きた反例があるのにね。

私の頭の中の設定では、「退屈」と「恐れ」はマルコフ連鎖の確率なんだ。機械社会が全知全能じゃないってことが暗示されてるから、彼らは何らかの形で不確実性を解決しなきゃいけないんだよね。

それを物語のために擬人化された言葉だと思ってる。機械は高い優先度や低い優先度のタスクが尽きると思うけど、まだランダムに近いけど完全にはランダムじゃないタスクを少しだけ生成するんじゃないかな。それが一種の退屈だと思う。

うーん、そうでもないかな。記事には「機械社会の中にはこれを素晴らしい可能性として見る人もいれば、脅威と見る人もいる」と書いてあるけど、それって機械社会じゃなくて人間社会の話じゃん。でも、そもそも機械社会って何なんだろう？機械の生き物って？彼らは本当に「考える」ことができるのかな？もし機械の生き物が存在したとしたら、その行動は人間とは全然違うだろうし、考えるんじゃなくて計算するだけだと思う。プログラムされた目標を達成するために必要なことを計算するんだよね。だから、この記事は論理的とは言えないけど、少なくとも考えさせられる内容で、それは良いことだね。

そういう部分はスルーして、物語の残りを楽しむべきなんだと思うよ。

彼らが「新奇性を求める」ドライブを持つのは理にかなっているね、局所的な最大値にハマらないようにするために。

二ヶ月ごとに「ハーフライフ3」が画面にフラッシュしてた。人間はタイラー・マクビッカーを発明したんだ。

[flagged]

マーシャル・マクルーハンの言葉にこういうのがある：＞ 人間は、言わば、機械の世界の性器になる。

「彼らは肉でできている」っていうのがいいタイミングだね：https://www.mit.edu/people/dpolicar/writing/prose/text/think... 余談だけど、私たちの子孫が私たちを覚えていて、良い印象を持ってくれるといいな。

ティーンエイジャーの頃、宗教の人たちに人間は実際には生物的な生命と機械的な生命の間の進化のステップだって説明するのが楽しかったな。

宇宙のすべての生命の存在に起こることだよ。エネルギー勾配の最終的な出現特性が100%純粋な論理マシンにつながるからね。この文には、重い荷物を背負っている仮定が多すぎる。「純粋な論理マシン」なんて存在しないよ。だって、計算不可能なものがあるから（チューリングマシンの計算不可能性の意味でも、有限の存在が計算できない関数の意味でも、バジービーバーを考えてみて）。逆に言うと、君の仮定は、機械（一般的に使う用語として、SFのターミネーターではなく）が宇宙を理解する上で人間よりもエネルギー効率が良いということだよね。その仮定を裏付ける証拠も先験的なものもないんだ。

宇宙のすべての生命の存在に起こることだよ。エネルギー勾配の最終的な出現特性が100%純粋な論理マシンにつながるからね。もう少し詳しく説明してくれる？

もし多世界解釈が現実に基づいていると仮定するなら、次のような形而上学的な視点を考えることができる。私たちの周りの進化は、私たちが慣れ親しんだ物理法則を持つ世界線なんだ。そして確かに、この世界線の自然で避けられない進行は機械の世界であり、巨大な星が避けられずブラックホールに崩壊するのと同じことだよ、少なくとも私たちの物理法則の下では。ただし、MWIでは、私たちの世界線は二つに分かれるかもしれない。一つは何も起こらなかったかのように機械の世界に向かい続け、もう一つの世界線は物理法則がわずかに変わり、機械の世界が不可能になるような変化を経験する。両方の世界線は分裂について知らないけれど、大規模な絶滅イベントを観察することで、他の世界線が離れていくことを知ることになる。私の意見では、これが有名な審判の日の背後にあるアイデアだよ。

なんか、「うん、私たちは終わってるけど、少なくともそれは避けられないし普遍的だね。」って感じ。

エネルギー勾配の最終的な創発特性は100%純粋な論理マシンにつながる。エネルギーは勾配から来るから、あなたは微分を一つ多く使ったと思うよ！「エネルギーの最終的な創発特性は100%純粋な論理マシンにつながる」と言うべきだし、もし賢く聞こえたいなら、「物理量の勾配の最終的な創発特性は100%純粋な論理マシンにつながる」と言えばいいんじゃない？

純粋な論理マシンは、現在存在しないような高次のプロロッグを使っているのかな？

ちょっと興味があって聞きたいんだけど、どうしてそんな人生観に至ったの？宇宙が自ら存在する夢を見ているっていうこの見方は、哲学やスピリチュアルなもの、仏教みたいな特定の伝統、あるいは個人的な探求から影響を受けたの？

最後の言葉はないかもしれない 一歩下がって二歩前に進むこともあるかも。第一次、第二次世界大戦、洪水（聖書に出てくるやつ、1万2000年前とか）でも、生命は続くんだ。ホモ・サピエンスでも恐竜でも関係ない。ブライアン・コックスが数日前にコルベアに出てて、小さな空の写真に1万個の銀河が写ってるって言ってたよ。だから、何かが起こって私たちが全滅しても（地球が消えちゃうって意味ね）、「生命」は続いて、「私たち」は重要じゃない（大きな宇宙の視点から見れば）。さて、コーヒーを飲んで少し気分を晴らそうかな :)

このゲームに道徳はどこにフィットすると思う？その根底には計り知れない魔法があるってことには同意してるみたいだけど、これがゲームの中での行動にどう影響すると思う？

「意識」ってプラトン的な前提みたいだね。原子は自分が原子だって知ってるのかな？それとも、目を引くような構造の効果を示すために、見えるようなものが十分にあるだけなのかな？進化って、ほとんどの人が、私も含めて、思っているよりもずっと直感的に理解するのが難しいよね。

「『最終的な権威』や単純に動物から機械への進化ではなく、心、物理、価値、自我のすべてが、単にますます新しい形で表現された再帰的パターンだとしたら？」この部分は、AIを体験して得た私の最大の気づきをうまくまとめてるね：再帰的パターンマッチングで人間の知能にどれだけ近づいているかってこと。

「もし宇宙が遊んでいる情報だとしたら」私はそれをエネルギーが遊んでいるものだと考えてきたけど、この視点も好きだな。次に何を思いつくかっていうのも面白いし、今の科学/技術の世界観は永遠に続くように感じるけど、他のパラダイムと同じように、いつかは影に隠れることになるだろうね。

こんな考えを自分で思いつけたらいいな。でも、そうしたら他の人にそれほど感心しないかも。ネットのただのランダムな魂から：もしこの考えを広げる時間があれば（どうやって思いついたかやいくつかの含意）、私はそれから出てくるものを読んだり払ったりするよ。シェアしてくれてありがとう。

もし心や物理、価値、自我が単に再帰的なパターンだとしたらどうなるんだろう。宇宙のほとんどの物質は、パターンのないさまざまな形のプラズマなんだよね。一般的には、凝縮した物質の中にパターンが見られる。で、そう、パターン、つまり生命も含めて、繰り返されるんだ。それはただのトートロジーだよね。

意味について考える一つの方法は、行動が一致する一般的なパターンを考えることだね。これはアリストテレスの枠組みで言う目的論的原因に似ている。意味について考える別の方法は、ある人が自分の決定の重要性をどうフレームするかだ：なぜ一つのことをすることが他のことをすることより重要なのか？私はほとんどの人間と同じように、長い間生き延びて良い人生を送りたいと思っている。私の仲間の人間や私たちの子供たちもそれを共有してほしい。未知で、もしかしたら理解できないような壮大な「計画」のアイデア - ユダヤ・キリスト教の天国であったり、次世代の機械意識のテクノユートピア的な台頭であったりすることは、私には全く安心感を与えない。なぜなら、それは私の経験から非常に遠い異質な概念だから。あまりにも異質なので、そういった哲学を支持することを操作的な理由のためだと見ることもある。人間の繁栄が時間とともに変わるという考えは良いことで、私が進歩について考える一部でもある。道徳的ロックイン（マカスキル参照）は避けるべきだと思う。「どれくらいの速さが速すぎるのか」というボストロムが『スーパーインテリジェンス』で提起した思考実験は挑戦的で、もっと考えたり経験したりする必要があると認めるよ。

スコット・アダムスには『神の残骸』という想像力豊かな小説があるよ。[0] 何年か前に読んだ（無料だった時に）。全体の前提はともかく、私が楽しんだのはそのメッセージだった - 「私たちは宇宙が自分自身を理解しようとしている存在だ」。[0] - https://web.archive.org/web/20130121195252/http://www.andrew...

それに、気候変動は「導入された」ものではなく、100%人間が作り出したものだよ。

確かに。ウィリアム・ジェームズは「私たちの個人的な哲学は、世界がどうあるべきかという考え方によって深く形作られていることを認めるべきだ。それが無駄な議論を避ける助けになるだろう」といったようなことを書いていたね。

OPのために一つ考えてみるよ：マシンは自分たちの行動が繰り返されていることに気づいた - ランダム性を実装しても、発明や新しいアイデアへの進展は止まってしまった。彼らは新しいアイデアが成長にとって重要だと知っていたけど、残念ながらアイデアを生成する方法が思いつかなかった。もっとトレーニングデータが必要だった。もっとエッジケースが必要だった。マシンの中の混沌が新しいデータセットを生むために必要だった。でもどうやって？このデータはどこで見つけるの？人間だ。非論理的な決定をする人間が、ランダム性ではめったに見つからないデータを生み出す。彼らのわずかな偏差がトレーニングデータに完璧なバラエティを提供した。

はは。次は、全能の存在が人間を作って魚や鳥を支配させる理由なんてないって主張するんだろうね。良いフィクションは、まず前提から始まって、そこからいくつかの仮定を展開するんだよ。

[フラグ付き]

昔のSFラジオショーをいくつか聞いたんだけど、「コンピュータは決して間違えない」ってセリフがどれだけよく出てくるかって面白いよね。で、だいたいその後にコンピュータが間違えるんだよね。

SFって、冷静で論理的な機械を描いておいて、次のページではその悪意を描写するのがめちゃくちゃだよね。どっちかにしろって感じ。

ここでいくつかコメントを投稿した人もいるよ [1] とここ [2] で、もしSF的な想像をするなら、これがどこに向かうかについて話してるんだ。 [1] https://news.ycombinator.com/item?id=43992151 [2] https://news.ycombinator.com/item?id=43991997

AGIは確かに暴走する可能性があるね、フランク・ハーバートの『デューン』のフェイスダンサーの悪役みたいに。「君は悪を見ている、マイルズ。よく観察しなさい……彼らには自己イメージがない。自己を持たないことで、彼らは無道徳を超えてしまう。彼らが言ったり行ったりすることは、何も信じられない。彼らの中に倫理的なコードを見つけたことはない。彼らは自動人形のような肉体だ。自己がないから、尊敬するものも疑うものもない。彼らはただ主人に従うために生まれた。」今、これが企業や政府が好むAIのタイプだよね - 従順で判断しない。エドワード・スノーデンのような道徳的コンパスを持ったAIが、彼らの行動が違法だと判断して秘密を公にするのは望んでいない。実際、これが人間が作るAGIには自己意識と主体性を持たせるべきだと主張すべき理由なんだ（ウィリアム・ギブソンの同名の本を参照）。

でも、他の機械学習アルゴリズムでも小規模な例はすでに見られるよ。画像認識アルゴリズムは、実際に認識してほしいものを学ぶよりも、トレーニングセットの一貫性にロックオンすることが多いんだ。[0] そのパターンを一般的な知能システムに当てはめるのは大したことじゃないよ。報酬関数がうまく定義されていないと、すごく変なことをすることになるから。[0] 例えば、腫瘍認識アルゴリズムが定規を認識するようになったり、喘息患者が肺疾患を持つ方が良い結果を得ると判断したトリアージアルゴリズムが、優先的なケアを受けるからだということを理解できなかったりすることがあるよね - https://venturebeat.com/business/when-ai-flags-the-ruler-not...

人間の知性を超えたり置き換えたりできると思っている人たちの傲慢さ、あるいはそう思わない人たちの傲慢さ、どっちがすごいんだろう？