そこには「知能」はないけど 明らかに知能は存在するよ。知能を認識する方法は、知能の外見以外にないし、これはそれをはっきりと示してる。人間の知能とはいくつかの顕著な点で明らかに違うけど、それが知的であることを説明するのを妨げるものではないよ。少なくとも、普通の非難的でない定義においてはね。

その議論はあまり意味がないよ。複雑なシステムには数十億の部品があって、自己組織化現象があるからね。人間も脂肪の管やシナプスの再配線に沿って伝わる電圧ポテンシャルに還元できるし。

「でもこれは知ってる数学だから知性じゃない」っていうのは、ちょっと違うと思う。人間の全体的な高い知性がどう働いてるかは未知だしね。ただ、LLMが自分ができる知的作業のかなりの部分を、しかも通常より速くこなせるようになってきてるのは感じる。今日も、非公式なインシデントの報告を受けて、それを解決するためのインフラ変更を提案するエージェントフレームワークを発表したんだけど、これは自分でもできることなんだ。でも、5つのテストケースをそれぞれ6〜12分でこなしたよ。自分もその監視指標を見つけられたけど、テストケースごとに1日かかってたと思う。LLMは、くだらないチケットにも皮肉を交えてたしね。「これは監視リソースを使う価値もない。明らかに設定の問題だ。」って感じで。自分もそう読めるよ。あるレベルの「簡単な」変換をサクサクこなすのが早いだけなんだ。

「次のトークンを予測する」ってどういう意味？「LLMはただ次のトークンを予測してるだけ」って言うたびにこれを聞くんだけど、誰もちゃんとした答えをくれないのがイライラする。どの確率分布に基づいて予測してるの？行動のシーケンスを生成するプロセス（例えば、人間が書くことも含めて）は、何らかの確率分布でモデル化できるから、その行動はその分布から出る「次のトークンを予測する」と区別がつかないんだよね。

AIを「学ぶ」ためには、まず問題の領域をマスターすることが大事だってことを再確認させられる。俺は数十年のコーディング経験があるから、AIを使ってコーディングはできるけど、理論物理学には使えない。なぜなら、返答を評価できないから。

数日前にクロードと似たようなことがあったよ。現在のプロジェクトでは、良い結果が出ていたから要件をあまり厳密にしてなかったんだけど、いくつかの重要なポイントでうまくいかなくなってきたから、もっと厳しくすることにした。失敗が解決した後でも、クロードはそのプロジェクト内で違った行動をするようになって、前もって慎重に確認したり、僕に指示を求めたりすることが増えた。ちょっとイライラするけど、うまくいくならいいかな…。

俺も同じようなことをやってる。「お前は今賢くなった、ダンボのChatGPTを減らす時だ」。高IQの仲間たち。

僕は高度なトピックについて、すごく簡潔な質問をするだけなんだけど、これが回答の無駄を減らすのに役立ってるみたい。でも、それに加えてプロ機能があれば、もっと良くなるかも。

でも、後の「前の質問を繰り返す」プロンプトはどうなの？