ハクソク

世界を動かす技術を、日本語で。

生物コンピューティングに対する不安

5日前原文(kuber.studio)

概要

  • AI技術 の進化と 人間の神経細胞 の利用に対する違和感の表明
  • DOOM をプレイするために訓練された ラボ育成ニューロン の事例紹介
  • 意識 や 倫理的線引き への疑問提起
  • 商業的動機 と技術開発の止まらなさへの懸念
  • 結論の不在 と社会的議論の必要性の指摘

AIと人間ニューロンの境界線への違和感

  • ChatGPT登場以降、多様なLanguage Modelを試作・構築経験
  • 重み や 行列演算 など、AIの基礎は「ただの数学と確率」との認識
  • しかし、 同じ仕組み が 人間のニューロン で動作する現実への強い違和感
  • DOOM への個人的な関心と、 WADsの解析 や QRコード内エンジン 構築などの活動歴
  • 数ヶ月前、 培養ニューロン が DOOMをプレイ する動画に遭遇し衝撃を受ける

DOOMをプレイするニューロンと意識の問題

  • 200,000個のニューロン がDOOMを人間以上にプレイ可能という事実
  • 最初は「ただの実験」と受け流すも、時間が経つほどに違和感が強まる
  • LLM は「次のトークン予測器」であり、 意識がない とされる理由の整理
  • しかし、 人間のニューロン が同じ報酬機構で「永遠に同じゲームを繰り返す」状況に不安
  • それが 意識 なのか、 誰が判断 するのかという根源的疑問

科学実験と倫理の境界

  • ゲームプレイのため、 視覚データ をニューロンに入力
  • ニューロンが反応するには 何らかの解釈 が必要
  • 人間の脳が電気信号を解釈することを「見る」と呼ぶなら、 チップ上のニューロンも「見ている」 のか？
  • 200,000ニューロン はクラゲやミミズ以上の規模
  • どこで線を引くのか、誰が「意識の有無」を決めるのかという倫理的課題

商業的インセンティブと技術開発の暴走

  • 人間の脳 はシリコンよりも 情報量・省電力 で優れている可能性
  • 商業的利益 が存在する限り、技術開発は止まらない現実
  • パンドラの箱を開けた状態であり、「間違い」とされることも利益のために継続する社会構造
  • 監視社会 や ブラックマーケット の例を挙げ、同様の道を辿る危険性を指摘

結論の不在と議論の必要性

  • 明確な 結論や答え は現時点で存在しない
  • MindDump というブログ名通り、違和感や不安をそのまま表現
  • 社会的議論 がほとんどなされていない現状への警鐘
  • 人間ニューロン利用AI の倫理・意識問題への真剣な議論の必要性

Hackerたちの意見

これは、ベジタリアニズムや生物システムの利用・虐待に関する倫理的な問題と同じだと思う。これはジュリアン・バギーニの「食べられたい豚」からの抜粋だよ。

「40年間のベジタリアン生活を経て、マックス・バーガーは豚のソーセージ、カリカリのベーコン、フライドチキンのごちそうを前にして座ろうとしていた。マックスはずっと肉の味が恋しかったけど、彼の信念は食欲よりも強かった。でも今、彼は清らかな心で肉を食べることができた。」 「ソーセージとベーコンは、彼が先週出会ったプリシラという名の豚から来た。プリシラは話すことができ、さらに重要なことに、食べられたいと思うように遺伝子操作されていた。人間のテーブルに乗ることがプリシラの生涯の目標で、彼女は屠殺の日に期待に胸を膨らませて目を覚ました。彼女は快適で人道的な屠殺場に急ぐ前に、これらのことをマックスに話していた。彼女の話を聞いたマックスは、彼女を食べないのは失礼だと思った。」 「鶏肉は『脳を取り除かれた』遺伝子組み換えの鳥から来た。つまり、自己や環境、痛みや快楽を意識することなく、植物のような生活を送っていた。だから、彼を殺すことは人参を引き抜くのと同じくらい野蛮ではなかった。」 「しかし、皿が目の前に置かれたとき、マックスは吐き気を感じた。これはベジタリアン生活のせいで起こる反射的な反応なのか？それとも正当な精神的苦痛の身体的なサインなのか？気を取り直して、彼はナイフとフォークを手に取った…」 出典：ダグラス・アダムズの「宇宙の果てのレストラン」（パン・ブックス、1980年）

└

これってバギーニのやつ？それともアダムズの？

└

最後の出典の行は何を表してるの？「宇宙の果てのレストラン」を読んだけど、確かに食べられたいと思う動物についての話はあるけど、その特定のシーンは含まれてなかった（少なくとも私が読んだバージョンには）。あの行はバギーニがアダムズの本からインスパイアを受けたってことを示してるの？

└

何年も意図せずに、そしておそらく倫理的に問題のある菜食主義者として、この本を読んでないけど、死んだものを食べるのは気持ち悪い。自分の死や消費を考えさせられるから、全然食欲が湧かないんだよね。

└

プリシラも毎日絶対的な苦痛の中で生きたいと思ってたのかな？動物が生きてる間に扱われる方法が、私が農業のやり方に反対する主な理由で、肉を食べない理由でもあるんだ。

└

結局のところ、ビーガンも肉食者と同じゲームをしてるよね。どこかに線を引いてる。肉食者は家畜の肉がダメで、ペスカタリアンは魚はオッケーだけど、肉はダメ。ビーガンは全て禁止。もちろん、生きたまま食べられても気にしない命は除いてね。レタスをいくらでも屠殺していいよ。レタスの擁護者なんていないし。要するに、道徳的な議論はちょっとバカバカしくて論理的じゃない。残念ながら、私たちは食物連鎖の中で生きていて、命を消費しないと生きられない。太陽や無機資源から資源を確保できれば、もっと道徳的に正しいのに。状況は良くなる可能性もあるけど、悪化する可能性もある。少なくとも、私たちの獲物の多くは獣医のケアを受けていて、エアガンで殺されるから、生きたまま食べられるよりはマシだよね。

シリコンで動くAIが原理的に意識を持つと信じる人は、生物のコンピュータも意識を持つと信じなきゃダメだよね？なんでその人たちはもっと懸念を表明しないんだろう？

└

同じ質問だね。公開ボタンをクリックする前にずっと考えてたけど、もしかして哲学的すぎるかなって思ってた。でも、ずっと気になってたから。

└

シリコンで動くAIが意識を持つなら、人間がペンと紙でやる計算も意識を持つってことになるの？

└

なんでその人たちはもっと懸念を表明しないんだろう？お金が好きだからだよ。

└

それはちょっと違うと思う。生物の脳が意識を持てるからって、全ての脳がそうだとは限らないよね。例えば、全てのコンピュータがWindows XPを動かしているわけじゃないし。生物的なコンピューティングに対して、なんでもっと関心を持つと思うの？ まだ実現可能性も示されてないのに、LLMベースの「AI」はもう広く使われてるし。

└

そうでもないよ。クラゲは意識を持ってるの？ にんじんは意識を持ってるの？ あれらは生物で、複雑な機能を果たしてるけどね。

└

人間が意識を持ってると信じるなら、蚊も意識を持ってるって思わなきゃいけないよね？

└

彼らは「できる」と思うけど、今の活性化関数が意識を認識できるほどのニュアンスを持っているかは疑わしいな。

└

バイオコンピュータについてのコメント、どれくらい読んでる？AIについて話してる人は多いけど、バイオコンピュータについては全然少ないよね。みんなの意見はほとんどが心配や不安で、比べるとその差は歴然。じゃあ、ボリュームの問題なのかな？ここ2年で、LLM（大規模言語モデル）とバイオコンピュータのどっちを考えたことが多い？たぶん前者だよね。LLMは日常生活に溶け込んでて、めちゃくちゃ宣伝されてるけど、バイオコンピュータはほとんどの人が滅多に目にしない実験的なものだし。私たちは身近なことについて考えたり話したりするから、それが私たちの関心を形成するんだよね。イスラエル・パレスチナの問題について声を上げる人たちが、なんで西パプアについてはあまり声を上げないんだろう？それとも19世紀半ばのカンボジアとベトナムの地政学的関係については？認識の非対称性だよね。

└

まあ、ツイートしたよ、それについて。

└

うん、わかった、心配してるって言うよ：心配してる。

あの論文の解釈には気をつけてね。すごく印象的に見えるけど、ペトリ皿の中の本物のニューロンがいくつかのインプを成功裏に（素人っぽく）混ぜてるみたい。 https://www.youtube.com/watch?v=yRV8fSw6HaE でも、カジュアルに読むだけでは想像できないことがもっとあるよ。デモに使われたコードはこちら： https://github.com/SeanCole02/doom-neuron だから、あの神秘的なニューロンの塊の周りには、全体のPyTorchスタックが組まれてるんだ。単にWASDに直結してるわけじゃない。重要な経路には、GPUで動いている従来のConvNetベースのエンコーダーがある。READMEでは「ニューロンが学習している」と主張してるけど、私の素人目にはConvNetでもかなりの学習が行われているように見える。ニューロンはドゥームをプレイすることを学んでいるのか、それとも重要な経路にちょっとだけ効果的なノイズを注入することを学んでいるのか？ニューロンを他の非マルコフ的なスラッジに置き換えても同じように機能するのかな？著者たちはこの問題を解明しようとアブレーション実験を行っているけど、結果がどれほど説得力があるのかは私にはよくわからない（もちろん自分の無知や愚かさのせいで）。

└

誰かがニューロンをウランに置き換えて、チップがまだDoomをプレイできるか試してみるべきだね。qday賞の受賞者の精神で。

└

でも私の素人で批判的な目から見ると、コンボリューションネットワークでもものすごく学習が進んでるように見える。うん、結論を作ってそこから逆算した感じだね。彼らの主張にはあまり価値がないように思える。

└

これを思い出すなぁ。https://news.ycombinator.com/item?id=47897647 の量子コンピュータのデモでは、量子コンピュータをエントロピーソースに置き換えても同じように動いたんだよね。

└

意見は全部自分のものだよ：CNNの全体のポイントは、入力のためのオートエンコーダーとして、出力のためのオートデコーダーとして機能することなんだ。そもそもこれをやる理由は、皿の中の電極の数が悲惨で、Doomのような複雑なものを表現するチャンスがないから。60個ほどの電極を通してフィードできる潜在空間を作るためにあるんだ。神経の潜在空間をボタンを押すためにデコードするためにね。ポンのバージョンは、神経が潜在空間の中間なしで学習できるという証明だった。世界の状態と神経の制御は生の信号だったよ。https://pubmed.ncbi.nlm.nih.gov/36228614/ 皿脳ポンの後にやりたかったことは、ライブ動物を計算基盤として使うことだったんだ。1匹の視覚野を入力として使い、神経スパイクを別の動物の前頭葉に送って計算し、最後にその信号を3匹目の動物の運動皮質に送って物理的にボタンを押させるっていうね。十分な数を育てなかったのは残念だな。ハードウェアを作って生物学的な証明をするのに1500万ドルもかからなかったはずなのに。

同じような考え方で言うと、人間はある意味、肉のスーツを着たLLMなんじゃないかってちょっと心配してる。

└

これに関しては、新しい技術革新があるたびに起こることだよね。人間の脳は油圧システムなの？ 人間はただのコンピュータなの？ それともLLMなの？ これらの技術は少しの洞察を与えてくれるけど、答えはいつも「そうじゃない」って感じ。もし本当に知りたいなら、実際の人間の脳をもう少し詳しく研究するのがいいと思う。

└

毎日、文化的にリベラルアーツが欠けてると人々に何が起こるかを示してるよね。

└

そうじゃないよ。でも、この擬似哲学を大衆に押し付けるための協調的な努力があるんだ。一方では、人間の意識や魂の概念を貶めて、フィクションだと言ってる。もう一方では、AIを持ち上げて、そのトランジスタの塊をほぼ脳のようだと言ってる。

最近、意識についての面白い本を読んだんだ。「隠れた泉」っていうマーク・ソルムスの本。ソルムスは、意識は根本的に感情に関係していて、認知とは関係ないって主張してる。意識は皮質で生まれるんじゃなくて、脳幹で生まれるんだって。そこでは体全体からの信号が集まる（例えば、痛み、空腹、かゆみなど）。もしこの主張が正しいなら、ペトリ皿の中のニューロンは意識を持つことはないだろうね、たとえ視覚処理のアナログを行っても。この本には他にもあまり納得できない議論があったけど、例えば意識は「感じるホメオスタシス」で、かなりシンプルなシステム（温度計より少し複雑なもの）でも意識を持つって言ってる。

└

意識は（哺乳類の）皮質から生まれるんじゃなくて脳幹から生まれるって、何千年も言われてきたよね。いろんな動物を殺す理由を正当化するために ;-) これで一つだけはっきりするのは、人々は目標を動かすのが得意だってこと。実質的には「チューリングテスト」を超えてるけど、「真の知能」の定義を変えちゃった。意識と知能は長い間、高い相関があるか、同じものと見なされてきた。でも今は二つを分ける必要があるんだ。もし最終的に（まだそこには至ってないと思うけど）真の知能を持つAIを作ったら、人々がそれを「権利」を持つべき存在として受け入れるまでにはかなりの時間がかかるだろうね。まだそこには至ってないけど、AIをオフにすることが生き物を殺すのと同じになるのはいつなんだろう？それについてはあまり話されていないと思う。確かにLLMは予測エンジンに過ぎない。でも私たちもそうだよね。私たちの脳は進化によって最適な未来の予測をするために調整された予測エンジンなんだ。私たちは確実に意識を持ってる。でもハエはどう？意識を持ってるのかな？違いは何だろう？判断するのは難しいよね。一方で、AIには恐怖や苦しみの概念を持つ進化的な理由がないから、ダグラス・アダムスの生き物みたいに、殺されることを気にしないのかもね。

└

意識は皮質で生まれるんじゃなくて、脳幹で生まれるんだ。そこでは体中からの信号が集まる（痛み、空腹、かゆみなど）。それって、痛みや空腹が報酬機能とどう違うのかっていう疑問を呼ぶよね。神経ネットワークの基盤となってるものだし。食べ物に向かって成長する菌類（快楽）と、塩を避ける（痛み）ことがどう違うのかも。

└

脳の一部が意識を持っていて、他の部分は持っていないって興味深いよね。何が違うんだろう？

ニューロマテリアリストの心は、自分の受信機に夢中になりすぎて、自分が放送塔だと信じ込んでいるラジオみたいなもんだね。

└

二元論者の心は、自分の回路に不安を感じすぎて、音楽を説明するために放送塔を作り出すラジオみたいだね。

人間の道徳は、人間らしく見えることと結びついてるから、線引きは絶対にできないよ。ほとんどの人にとって、道徳には美的な前提があって、実験室のニューロンよりも、肉ケースの中のニューロンの方が大事なんだよね（特にその肉ケースが見た目良ければなおさら）。

└

それに「人間らしい」っていうのも、昔はかなり厳密な定義があったし、今でもそう思ってる人はいるだろうね。アメリカ南部で働いてた人たちは、所有者と同じ「人格」を持ってるなんて思われてなかったし。

でも、ここでちょっと頭の中が混乱するんだ。もしかして、最初の人間バイオコンピュータを作って、すぐにシミュレーションされた地獄に放り込んで、同じゲームを永遠にループさせてるのかな？ LLMに使うのと同じ報酬メカニズムを使って？ この説明は、Doomのデモでやったこととはあまり合ってない気がするし、著者が実際に詳細を調べたのか疑わしいね。

└

著者が実際に詳細を調べたのか疑わしい。実験のことは置いといて、意識や心の理論について意見を言うだけの人たちも同じだよね。退屈な背景知識を調べることなく。TFAの結論は、もしかしたら謝罪のない炭素中心主義についてのことかも。でも、OPは「ChatGPTが初めて登場した時からAIの世界にいた」し、「これに悩まされて何ヶ月も経つ」って言ってるけど、用語やこの立場の一般的な問題については気づいてないみたい。普通の非技術的なSF読者の方が、LinkedInのトラフィックのためにブログを膨らませてるAI兄弟よりも、もっとニュアンスのある見解を持ってるよ。

└

著者はこの分野を全然知らないみたいだね。最初の数文でそれがわかる。冒頭の文：「ChatGPTが初めて出たときからAIの分野にいる。」みんな意見を持つ権利はあるけど、だからといって全部聞く価値があるわけじゃない。残念ながら、今はその意見が全部AIについてなんだ。

生物コンピュータは避けられないよ。私たちが持っている最も説得力のある証明だと思う。私たちの文明全体がすでにそのプロトタイプかもしれない。私の見解では、物事は次の順番で進むと思う；1. AIは最終的に全てのシリコンチップ設計を引き継ぐ。人間の設計は比較にならない。ムーアの法則は、現在、人間が自分たちのシリコンチップ設計スキルの実用的な限界に達していることを示していて、新しい法則に取って代わる。「クロードの法則」と呼ばれる新しい法則は、処理速度が毎年10倍になることを示す。そして、10年ほどはそれが続く。もう二度と人間が設計したチップを作る理由はない。それをするのは製造資源の無駄遣いだ。2. AIは人間が最後に設計した商業用チップから10年後にシリコン処理能力の実用的な限界に達する。チップの性能向上が鈍化し、シリコンベースのコンピュータ技術の性能向上の終わりが近づいているように見える。3. AIは生物コンピュータにシフトする。DNAと生体組織で作られた次世代コンピュータが登場する。サーバーの形はほとんど変わらないけど、次世代の生物コンピュータは基本的に「瓶の中の本当に大きな脳」だ。4. 生物ロボット？

└

ファンタジーランドみたいな考え方だね。