まあ、最後の消費者が間違った使い方してるのは当然だよね。なんで？最後の消費者は目の前にいるけど、他の人は7つのプロキシの向こう側にいるから。

そうだね。ここでの主な警告は、リスクが増えるってことだと思う。ちょっとした不具合があちこちで起きて、最終的に何かが壊れるまで。

LLM以前の時代が「質の黄金時代」だったわけじゃないし、むしろその逆だよ。LLMが急いで作られたクソみたいな仕事のサインをまた一つ消し去ったってこと。

LLMが正しい時間枠で、誤字がなくて、見た目が良いレポートを作るっていう主張には、私も同意できるかどうかわからないな。明らかにサインがある人間やLLMのレポートは無視する覚悟もあるし。LLMでも人でも、雑な仕事やエラーだらけのものを作ることができる。良いレポートと悪いレポートの区別が難しくなってきてるかもしれないけど、それが評価者に負担をシフトさせるのを助けるんだよね。特にコストに基づいてLLMの使用が分かれてくると、そうなる。高品質なフロンティアモデルは高いコストでより良い仕事を生み出すかもしれないけど、下からの経済的圧力もあるし。人間のコンサルタントや従業員と同じように、高品質な仕事にはもっとお金がかかるよ。何を主張したいのか、ちょっとわからなくなってきたけど、LLMが低品質なレポートを作らないなんて考えは、私にはちょっと馬鹿げてると思えた。

自動化の目標は、一貫して完璧な能力を自動化することであって、人間の失敗を自動化することじゃないよ。人間と同じくらいの精度で、しかも頻繁に間違える計算機なんて使わないでしょ。

私にとっての問題は、ミスに対する人間の説明が欠けていることなんだ。人間の場合、質の低さには原因がある。知識の不足だったり、時間的なプレッシャーだったり、自己中心的な目標だったり。最も重要なのは、そういったエラーの原因が一貫していること。あるインターンが注意深いけど無知だったり、赤ちゃんがいる先輩が知識の宝庫だけど、睡眠不足で明らかなことを見逃したりするのは信頼できる。AIの場合は、誰にも予測できないから厄介なんだ。完璧にコードを実装しても、同じ実行で初歩的なミスをすることがあるからね。だから、極端に有能な機械に対して、完全に無能だと仮定してレビューするという直感に反する作業をしなきゃいけないんだよ。

それは、ポジティブなフィルターじゃなくて、ネガティブなフィルターなんだ。つまり、誤字や基本的な事実誤認があると簡単に仕事を拒否できるけど、それがないからといって質が良いとは限らないってこと。通常、こういったチェックは最初の段階であって、唯一の基準じゃない。これがあると、最初のチェックを通過した後に実際の問題を特定しやすくなるから価値がある。同じ理由で、コードの質やリントスタイルを整えてから、実際に書かれている論理を考えるんだ。

「どちらの主張にも同意するか分からない… 人間が生成した知識の中には、事実として正確で、フォーマットも整っているけど、概念的には非常に質が低いものをたくさん見てきた。悪いアイデアに高いレベルの磨きをかけるのは、基本的に詐欺師の手口だよ。ビジネスの世界では、質の高い仕事に関連するすべての磨きや飾りを使って、悪いアイデアや製品を着飾って成功を収める人たちや企業がいるんだ。」

AIのサインは、今や人々にとって認識しやすい。実際、こういった言い回しは単に認識できるだけでなく、明確に区別できる。<-- 俺がやったこと、分かる？これらの非常に明白な構造を見つけても、99%のAI生成テキストを見逃すかもしれない。なぜなら、それには手がかりがないから。でも、99%が生成されたことを知らないし、あなたが示したパターンの100%を見つけるから、AI生成のテキストがあなたの目を通過することはないと思ってしまう。

どちらの主張にも同意するか分からない… そうだね、これは重要じゃないと思う。「知識作業」の多くは、常に他の何かの代理だった。誤字やエラーの高品質は、アイロンがけされた白いシャツにネクタイを付けるのと同じように、尊敬のシグナルなんだ。「誰も深く読むことを期待していないテキストの壁」。基本的には、犠牲と従属の象徴的なデモンストレーション（または何か）。LLMはこのシグナルのモードを取り除く。もしコンテンツの質が以前に検討されていなかったら、それはおそらく特に重要ではなかったんだろう。

シミュラクルの概念はボードリヤールから来てるんだ。彼のエッセイ「シミュレーションとシミュラクラ」は、現代経済の奇妙さを理解するためにすごくおすすめだよ。

確かに、多くの学問分野は、修士号以上のレベルになると、判断するためにはかなりの能力が必要だし、それ以下の人には正しいかどうかの区別がつかないことが多いね。

AIは、あなたが理解していなくても自分で物事をやることができるよ。でも、何かをしっかり理解しようとしているなら、AI以上に助けになるツールはないよ。

俺の同僚にずっと言ってるんだけど、彼がAIを使う理由って「クラウド・スノーフレーク・コルテックスに、うちの統合コードやドキュメント、JIRAチケットを渡して、すべてをもっと良くするんだ。何でも聞けて答えが返ってくる」っていうだけなんだよね。彼は全然現実を見てなくて、そもそもストーリーがあんまりないのに。SFに影響されて、どれだけ素晴らしいかを妄想してる。自分のトニー・スタークのジャーヴィスを手に入れることに夢中で、これが彼を加速させると思ってるみたい。正直、彼にとっては大きな気晴らしになってるし、LLMを使ったビッグウィキズのことに執着しても、彼が思ってたほどの成果は出てない。何度か、技術がどれだけ不完全かを痛感してるのを見てきた。みんなの壮大なビジョンと、エージェント的なワークフローの話を聞いて、俺はほとんど引っ込んで、定期的に成果を出してる数少ない一人になっちゃった。AIを使って納品をかなり早めてるけど、大きな冒険に時間を無駄にするつもりはない。皮肉なことに、多くの人がチャットボットを導入しようとした企業に反発してたのに、自分たちは6兆の.mdファイルを集めてスキルファイルを追加して、自分たちのチャットボットを作るためにほとんどのクレジットやトークンを使ってる。俺の本当の気づきはこれだ：知識を広げるためにショートカットを取ろうとすると、実際の組織的な知識が失われるってこと。例えば「クラウド、企業がXをデザインしてYを解決する方法の例を教えて」とか「ゴーランは初めてだけど、コンパイル言語の利点は何？」みたいな質問じゃなくて、「/somePersonalBigWikiProjectInvokedBySkill.md クラウド、現在のツールとインフラをレビューして、デプロイ速度を5倍にするにはどうすればいいか、ウェブで調査して提案をまとめて、5年のコストベネフィット分析を含めて…」っていうような質問。周りを見ると、みんな自分を弱体化させてる気がする。その後者の質問？みんなクラウドに提案を送ってばかり。俺の目は完全に glazed over だよ。自分でちょっと調べるのがそんなに難しいの？もう、建築家やシニアエンジニアを呼んで、彼が技術やビジョンの広がりにどうフィットするかを聞く能力を手放してる。みんなで少し発見を共有して、結果に向けて協力する部分を飛ばしてる。表面的な理解だけで終わってる。これが、俺たちのコミュニケーションに目に見える影響を与えてるのは明らかだ。何か感じるけど、言葉にできない。みんなが深い詳細を求められると、自分が話してることを説明するのが難しくなってる気がするし、AIのおかげで、彼らは自分のアイデアが挑戦されることを望まなくなってる。学びの経験として捉えられなくなって、すでに何かのウィキペディアのような知恵を持っている人から学ぶチャンスを見失ってる。経験豊富な人が「それは良いアイデアじゃないかも、理由はこれだよ」と言うのを嫌がる人にとっては、完璧な技術だね。俺は、特定の分野や多くの分野において、ただの歩く百科事典のような面白い人たちに出会ったことがある。信じられないほど賢くて、知識や知恵が豊富で、技術だけでなく人や失敗、成功についても多くの経験を持ってる人たち。人間の脳が自然な形で決定プロセスと結びつく信じられないほどの情報を保持できることに疑いはない。みんながここで自分の「大図書館」を作ろうとしているギャップが何なのかは分からないけど、ただリラックスして、自分の脳がまだ最高の技術の一つであることを信じてほしい。

AIを使って、私たちは理解を貨物カルト化している。私たちは「マネージャー視点」を貨物カルト化しているんだ。ブレット・デヴローのブログにある「ゲーム・オブ・スローンズはエリートの視点から書かれている」という批評のように、これはユートピア的で、エリートには良さそうに聞こえる。でも、現実から完全に乖離したエリートのバブルのように、これはひどいことになるだろうね。フランス革命みたいに、AIによって「職を失った」人々が「パンが食べられない」と叫んでいるのに対して、「ケーキを食べさせればいいじゃん」って答えるような状況になるかも。

ちょっと理解できてないけど、君の言ってることは面白いね。宇宙の歴史を想像してみると、数十億の亜原子宇宙や文明が興亡を繰り返してる様子が浮かぶよ。多くは、自分たちの自律的な擬似知能技術に飲み込まれてしまって、良い面も悪い面もある。マクロな視点で見ると、それは粒子の振る舞いなんだ。今、私たちは自分たちの粒子を作っていて、私たちが属しているスーパー宇宙に影響を与えるような集団的な決断をしてるんだ。小さいけど、重要な影響をね。

君が言ってるようなコードは、結局悪いコードだよ。人間にもLLMにも理解しづらいからね。