もし安くて速くて、あまり無理をしないなら、それが理想だね。コストの関係で賢いモデルはあまり使わないし、まだ多くの問題に対して自由に使えるほど良くないから。アシスタンスには、すぐにレビューできる特定の部分をパッと出してくれるものが好き。賢いモデルには、外部依存関係として扱うものを任せてるけど、自分のコアな領域ではまだ手動でコーディングしてる。

「多くの人は、賢くならなくても、もっと安くて速くなるだけで満足すると思う。」これは結構真実だね。知能が上がることで得られるリターンが減少してきてるポイントに近づいてる気がする。安く改善できない限り、モデルを向上させる価値がないかもしれないね。

料理中にChatGPTの音声機能を使って、何年も作ってきた料理のバリエーションについて考えてみたんだ。アドバイスをもらって、すごく感動したよ。これをずっと使えるんじゃないかって思った。賢いから、たくさん助けてくれるし、いろいろやってくれる。AIが進化しなくなっても、これが好きだな。

DS4のフラッシュ、Luna、Mimoレベルの知能が、俺の低スペックのハードウェアで完全オフラインで動いて、TPSが耐えられるレベルなら満足なんだけど、それ以外はちょっとね。

現在のAIは私たちを助けるには十分賢いけど、AKのクリエイターたちは私たちを置き換えられるくらい賢くしたいみたい。

それは本当に依存すると思う。コーディングや一般的な知識のタスク以外の多くのことでは、最高のモデル（fable 5など）でもまだ十分じゃない。例えば、CADやPCB設計（PCB設計は進歩してるけど）とかね。

本当の革命は両方だよ。フロンティアインテリジェンスのコストと能力は上がるし、「十分な」インテリジェンスのコストは下がる。

1万ドルのコンピュータはすごいけど、100ドルのコンピュータが数十億人に届くと世界が変わるよね。AIも同じ道を辿るかもしれない。

DS4Fにプランを作らせて、それをgrok/fableでチェックして、コードを作って、またgrok/fableでチェックして、出荷する。

でも、彼らにはその選択肢がないんだよね。まるでレッドクイーンのレースに閉じ込められているみたい。世界はどんどん進んでいくから、モデルも新しい情報に追いつくために再訓練が必要なんだ。そうしないと、過去のデータセットの地平線がどんどん遠ざかっていく中で、以前の情報にしか対応できないモデルに縛られちゃう。しかも、トレーニングプロセス自体もどんどん改良していかなきゃいけない。AIが生成したテキストやコードは、インターネット中にじわじわ広がってるし、モデルの崩壊は本当に心配な問題だよ。もしそうじゃなければ、珍しい本を買ったりスキャンしたりするのに、そんなにエネルギーを使わないと思う。でも特にコーディングに関しては、古いテキストのコーパスを増やすのはあまり良い選択肢じゃないんだ。前の問題があるからね。1980年代のK&R Cを書けるようにLLMを訓練しても、現代のコンパイラではコンパイルすらできないから。