テクノロジーの中で持続可能なものって、金のリサイクル以外ほとんどないよね。

OpenAIのボトルネックは最初はGPUからエネルギーに移った。次はエネルギーから人間に移るだろうね。成長を続けるために、もっと私たちを生み出す方法を見つけるに違いない。

2ヶ月で1億人の成長は、地球上の全ての人間がこれを常に使うことで得られる利益を示唆している それがどのように示唆しているの？どのレベルの成長が、製品が普遍的に有用である証拠になるの？

やっといくつかの小さなことに使ってみたけど、主に検索の代わりに使ってる感じかな。検索が今やひどい状態だから、なんか中年のボクサーが70歳のチャンピオンと戦ってるみたいな感じだよね。とにかく、もしこれが私のノートパソコンで動くようになったら、すごく役立つと思う！

時間が経つにつれて、使う頻度が減ってきたな。まだ役に立つけど、しばらく使ってると、使わない方がいいタイミングが分かるようになるんだよね。

2ヶ月で1億の成長は、地球上のすべての人間がこれを常に使うことで恩恵を受けることを示唆してるけど、その理由がよく分からない。たくさんの人が使ってるから、みんなも使うべきってこと？

2ヶ月で1億の成長は、地球上のすべての人間がこれを常に使うことで恩恵を受けることを示唆してるし、あとはそれを可能にするだけなんだ。OpenAIの問題は、最終的にブラウザやOS、スマホ、ワードプロセッサーなど、すでに使われているシステムに十分な性能の生成AIが統合されると、一般向けのスタンドアロンAIの市場はどうなるのかってことだと思う。プロ向けの製品や最先端の研究、コーディングツールには常に市場があるけど、それが兆ドル企業になるとは思わないな。

2ヶ月で1億の成長は、地球上のすべての人間がこれを常に使うことで恩恵を受けることを示唆してるし、あとはそれを可能にするだけなんだ。これには全く意味がないよ。人気があることと役に立つことは同じじゃない。もし、LLMの使用増加が生産性に何らかの影響を与えたというデータを含めていたら、もっと説得力のある主張になったと思う。逆に、いくつかの研究では、LLMが専門家の生産性を下げていることが示されてるんだよね。

今月からChatGPTの有料をやめたんだ。無料ユーザーにもプロジェクトが開放されたって知ってさ。無料版でも十分使えるし、無料クォータがなくなったらGrok、Mistral、Deepseek、Geminiを使い分けてる。だから、どんどん無料のものを配るのは成長にいいのかもね。製品は素晴らしいし、ChatGPTはまだ一番好きだけど、競争相手もそんなに遅れてないよ。実際、ほとんどのタスクではGrokの方が好きになってきた。

2ヶ月で1億の成長は、地球上の全ての人がこれを常に使うことで恩恵を受けることを示唆してる。あとはそれを実現するだけ。実際、約5%の人しか月20ドルを払う価値を感じてないんだよね… VRやARみたいなもので、無料でヘッドセットをもらったらたまに使うけど、ほとんどの人はお金を払いたがらない。LLMはすでに商品化されちゃってるし。

彼は怒ってるわけじゃないよ。ちょっとイライラした感じの書き方だね。多くの人がティーンエイジャーの頃にこんな風に書いてた時期もあったし。5年前くらいには、ベストセラーの本が「ファック」や「バギナ」ってタイトルに入れるのが流行ってた時期もあったよね。

イギリス人は、罵り言葉をコミュニケーションの手段として独特の関係を持ってるよね。編集：オーストラリア人やニュージーランド人もそうだよ！

うん、彼の文章は感情的に疲れるよね。

読んでると感情的になっちゃうと、彼の数学が間違ってることや専門家じゃないことを見逃しやすいよね。ああいう書き方は彼にとって得だよ。

彼の「次の12ヶ月で4000億ドル」という主張は、OpenAIが建設費を前払いしているかのように扱っている。でも、OpenAIは運営費として容量をリースしているんだ。オラクルがデータセンターをファイナンスして建設しているからね。結局、最後に負担を背負うのは納税者や年金受給者になるんだ。[1]https://en.wikipedia.org/wiki/Turtles_all_the_way_down

これがエド・ジトロンが分析や基本的な事実についてひどく間違ったのは初めてじゃないってことは言っておくよ。今週だけでもこれが初めてじゃないしね。彼が「推論コスト」が上がっているって主張していることについて、投稿を書いたよ。https://crespo.business/posts/cost-of-inference/

OpenAIは現在、年間成長率が約122.8%で増えてる（10ヶ月前は約461.8%だったけど）。成長率が安定してきて、2028年末までの3年間で約100%になると仮定すると、収益は1040億ドル、WAUは64億になるんだ。この数字には賭けられないけど、OracleやNvidiaは株を維持するためにそれに賭ける必要があるんだよね。彼らの成長は2ヶ月ごとに約20%減少してるから、来年の今頃には1.6B WAUsよりも1.2B WAUsに近くなってるかもしれないし、翌年には3.2B WAUsよりも1.4B WAUsに近くなるかもしれない。確かに印象的だけど、GoogleやFacebookにはまだ遠く及ばないし、収益もずっと低いし、成長も同じくらいだと思う。

テックオタクにとって、GPUは核心的な存在なんだ。PMの視点から見ると、データセンター全体がそうだね。言い換えれば、フロップスでどうやって測るの？これが全部構築される頃には、次世代のカードが出てるだろうし。

効率的な計算、資本支出などを前提にした場合、これは最終的な使用コストとしてパワーの単位で測るべきだよ。

私の理解では、異なるハードウェアやワークロードに適用できる普遍的な計算能力の測定基準は存在しないんだ。パワーの数値は、その時点でそのパワーで得られる最大の計算能力に近い意味を持つと解釈できる（少なくともインストール時点では）。地理や冷却方法などにも対応しているし、すべてをカバーしているよ。

データセンターが現在の年のチップでほぼ満たされていると仮定すると、フロップスの数は意味のないほど大きな数字だよね。大きいって、どれくらい大きいかって？ 原子力発電所が必要なくらい大きいんだ。

それがデータセンターを作るときの主な制約なんだよね。どれだけの電力を現場に供給できるか、そして冷却に関すること。ラックが退役して交換されるにつれて、ワークロードも完全に変わるから、あまり意味がないんだ。でも、今のGB200を使えば、1GWは精度の種類にもよるけど、だいたい5エクサフロップスの計算能力になるって考えていいよ！

電気を精製することに例えるといいかも。データセンターには生の電気の供給があって、どれだけの廃棄物（熱）を処理できるかのキャパシティがあるんだ。精製の質が時間とともに向上しても、施設の供給や廃棄物処理能力は変わらないんだよね。

ナプキンの裏に書いたメモ：1ギガワットで約14.3億台の6502を動かせるよ。

うーん、最近ちょっとだけ成長したけど、まだまだ小さいHW&DCオペレーションの経験から言うと、データセンターには電力を消費して熱を生むGPUだけじゃなくて、もっとたくさんのものがあるよ。確かにGPUが大きいけど、しばらくするとスイッチやファイアウォール、ストレージユニット、他のサーバーなんかも電力消費に大きく貢献するんだ。大きな小型パケットの高スループットファイアウォールは、驚くほどの計算能力を持っていて、意外と多くの電力を消費して、たくさんの熱を発生させるよ。あ、あと、車が何台も買えるくらいのコストがかかるんだ。それが、ハードウェアをスケールで運用し始めたときに得られる重要な抽象化/単純化なんだ。制限は必ずしもTFlopsやGHz、立方メートルあたりのGBじゃない。小さな場所にそれらをたくさん詰め込むのは簡単だからね。しばらくすると、主な問題は建物に十分な電力を供給する能力と、熱を外に出す能力になるんだ。ハンブルクエネルギーは、余剰の太陽光発電をグリッドに放出するためにそれを構築中なんだけど、安全に10kVの電力網に接続して、システムから熱を早く移動させるのは問題があるんだよ。

マーケティングがシンプルになるね。彼らは結局、Flopsとか他の数字がどれくらいになるか本当に分かってないんじゃないかな。だから、ギガワットっていう表現は大きく見せるのにいい方法だよ。

誰か、なぜこれらのデータセンターをギガワットで測るのか説明してくれない？1.21 GWに達すると、AIは幾何学的な速度で学び始めるからだよ。それが意味するのは、ついにAGIに到達して、OpenAIが4000億ドルのリターンを得るってこと。

これらの数字を計算した人たちは、まだIVっぽいものを求めてる。暗号マイニングの「ゼロティア」データセンターがAIに変わるっていう証拠は見たことないけど、明らかにメリットはあるのにね。

脅威なんてないよ。両者とも軍や帝国に大きな利益をもたらす民間公共パートナーシップだから。ピンチョンを読んでみて。

実際の仕事において、10%のギャップはコストに見合う価値があるよ。

君は間違ってると思う。HNの人たちがDropboxについて間違ってたのと同じようにね。HN:「なんでこんなに価値が少ないものにお金を払うの？ちょっと便利なファイルストレージに過ぎないじゃん？」オープンソースモデルがほぼ同じくらい良いからって、便利さの要素を過小評価しちゃいけないよ。両方とも真実であり得る：私たちはAIバブルの中にいるし、大手企業がほとんどの価値を掴んで、簡単には取って代わられないだろうね。

deepseekやllama 3のようなオープンソースモデルが急速に追いついてきてる。もし90%の機能をかなり安く（自分のGPUを使えば無料で）手に入れられるなら、OpenAIにはどんな価値があるの？ハードウェアや電気代を払ってるだけだよね。

彼が言いたいことはそこじゃないと思う。彼の主張は、数字を見て現実に基づいて考えることだと思う。データセンターを作るのには時間がかかるし、運営するには人が必要だよね。記事は、タイムラインが実現不可能だって主張してる。

deepseekやllama 3のようなオープンソースモデルは急速に追いついてきてるけど、どれくらいの期間で追いつくんだろう？大規模モデルはトレーニングにすごくお金がかかるし、オープンな理由は、利益を追求する企業がその膨大なコストを負担しているからだよね。もしその赤字の企業（または企業内の部門）が利益を求めて梯子を引き上げたら、どうするつもりなんだろう？

私はOpenAIの有料サブスクを利用してるけど、実際は便利さの問題なんだ。アプリはすごく良くて、自分の数学を再確認するのに役立ってる。これが彼らの価値なんだよね。ほとんどの人はITに関しては全く無能だから。だから、現実世界で出会う人は誰も広告ブロッカーを使ってないんだ。OpenAIは大衆の心の中での地位を確保した。次のGoogleになるためには、ユーザーに広告を押し付ける方法を見つけるだけでよかったのに。代わりに、膨れ上がったバブルと投資家を騙す戦略を選んじゃった。初心者のミスだね。

自分のGPUを使いたいなら無料だよ。 深層学習やKimi、GLMみたいなものをローカルでコーディングするために必要なハードウェアは、たぶん5万ドルくらいかかると思う。 OpenAIやAnthropicに近いモデルを動かすには、数百ギガバイトの速いVRAMが必要だね。

今、Sora 2にどれくらいお金を使っているのかはわからないけど、数十億はかかってるんじゃないかな。実際にはもっと少ないと思うけど。

SoraやGoogle Flowのようなツールの結果として、アマチュアが比較的安価でプロ品質のコンテンツを作ることが増えるだろうね。だから、そんなショーが千本（もっとたくさんかも）できるのは不可能じゃない！

皇帝は裸だ。