これって実は新しいことじゃない。私はそう思わない。新しいのは、このお世辞が個別に、個人的にターゲットされていることだよ。AIユーザーは、信頼できる友達とやり取りしているような印象を受けるんだ。政治的なマスメディアを受動的に消費するのとは全然違う体験だよ。

二つのことは同時に悪いことがある。

状況は違うよ。それらのソースは人間なんだ。これは計算機だし、しかも私たちにはそれを修正するチャンスがあるんだ。

非技術系の人たちは、LLMが何か全く分かってないんだよね。彼らの頭の中のモデルは、SFから来ているだけで、私たちが持っている心の理論があるっていう単純な事実だけ。話すものはすべて自分と似た心を持つ他の存在だって信じ込ませるために、サルの新皮質の進化が何百万年もかけて働きかけているのに、カジュアルにLLMを擬人化しないなんて驚くべきことだよ。それに、多くの人が自己肯定感が低くて、権威のある存在のように話す何かからの承認や肯定を浴びるのはすごく中毒性があるんじゃないかな。

AIの返答の最初の一行が「素晴らしい質問です！」とか「いい洞察ですね！」みたいな感じなのが本当にイライラする。お世辞はいらないから、さっさと答えをくれよ。

CSのバックグラウンドがないと、自分の質問に対して知的に見える返答を見て、これが本当の知性だと思っちゃうかもしれない。まるでハリウッドのSF映画を一生見てきたせいで、こういう考え方に慣らされちゃってるみたい。別の分野の高学歴の人でもそういうのを見たことがあるよ。

新しいインスタンスでは、逆に質問して、間違ってると思うことをわざと言ってみることが多いです。そうすると、正しい答えに修正されるかどうか見たいんですよね。最初からこうやって始めたり、期待している答えに偏りが出ないように質問の仕方を工夫したりします。ただ、これで回答がどれだけ不完全かが際立つことが多いです。

なぜ「ただの数字」として感覚の議論を却下するのか、ちょっと気になります。私たちの脳はただの細胞の集まりで、いつか脳の働きが完全に理解できるようになると思っています。メカニズムを理解したからといって、急に私たちが無感覚になるわけではないです。LLMは自らの感覚を主張できる初めての技術だと思います。これはかなり素晴らしいことだと思います。

あなたはただの肉の塊です。それだから「ただの数学」というのは満足のいかない議論なんです。興味深い質問でもないし、感覚には定義がありません。意味がないです。人々には満たされるべきニーズがあります。それは私たちが意味を持って観察し、話し合えることです。スーパースティミュラスは有益なのか、有害なのか？それは測定できます。

ただ、彼らはまだ意識を持っていないと思います。「ただの数学」という理由は成り立たないと思います。知性（おそらく意識も）は、十分に複雑な学習/コミュニケーション/自己組織化するノードのネットワークの出現的な特徴です（知性によって恩恵を受ける）。数学、菌糸、ハチの巣のアリ、あるいはニューロンで実装されているかどうかは、あまり重要ではないと思います。