「たった4年間の規制で、通信業者と小規模ISPの権力バランスが変わったってこと？」もしこの規制がインターネットの立ち上げに役立ったのなら、これが規制が撤廃されたときの人々の終末的な予測への興味深い反論になるね。（ネット中立性も思い出す）短期間だけこれらの法律が存在することが「十分」だなんて、今まで誰も言ったのを聞いたことがないよ。

「1996年にはT1が月1800ドルから、1999年には月600ドルくらいになったと思う。もうずいぶん前のことだから、記憶があやふやだけど。地域によってかなり変わった。私が働いていた小さなISPでは、T1に月1500ドル払ってたのが、500ドル、最終的には顧客へのT1ループが月100ドルくらいになって、さらにOC12 SONETリングのために月数千ドルかかってた。これを使ってT1（や他の回線）をデータセンターに戻してたんだ。でも、これはすべて、ILECが非束縛ネットワーク施設を販売することを求める通信法の要件によって推進されたものだよ。私たちが購入したCLECは、ほとんどの回線（75％以上）で地元のILECを使っていた。面白いことに、90年代後半のダイヤルアップがまだあった頃、音声T1 PRIをデータT1よりもかなり安く買えたんだ（PRIが250ドル、T1が500ドル）。CLECの理論は、私たちのダイヤルアップ顧客はほとんどが地元のILECからサービスを受けていて、CLECはILECからの通話を受け入れることで「相互補償」料金をもらっていたってこと。私の市場では、通信法改革法が撤廃されたとき、ILECはそのまま卸売/非束縛サービスを私たちに売り続けてた。彼らはその時点で、正しいアプローチを取れば非常に利益の出るビジネスだと気づいていたんだと思う。」

通信競争の削減と、完全な独占権の許可は、裁判制度の悲劇だった。法律はかなり明確で、裁判所は「家庭へのファイバーは展開が高いから、立法機関の決定を覆す」と勝手に決めた。裁判所は気に入らない法律を好き勝手に覆すことはできないはずなのに、ここではそうなった。接続の価格についても言及する価値があるのは、T1や他のTチャネル、OCx接続が依然として多く使われている一方で、1996年から1999年はDSLが広く利用可能になり、多くのニーズに対して非常に良い選択肢だった時期でもある。これが他の接続オプションにかなりのコスト圧力を生んだのは確かだね。

法律の変化が価格戦争や通信バブルのタイミングに影響を与えたかもしれないけど、価格戦争は避けられなかったよね。そして、通信バブルはどのみち起こる可能性が高かった。通信投資は、ドットコム株の異常な評価に対する反応だったんだ。

僕はテレコムブームの時にスタートアップで働いてた。あの頃は、スタートアップが製品を展開する前にCiscoみたいな大手に買収されてたんだよね。それに、当時はIPOが唯一の流動性イベントで、エンジニアは6ヶ月間ロックされてた。運が良かった人は、スタートアップがIPOしたり買収されるまでに時間があって、バストの前に抜け出せた。バストの後は資金が枯渇して、僕が働いてたスタートアップも含めてほとんどが倒産した。数年間は壊滅的な状況だったけど、その後新しい波のテック企業が現れ始めた。

なんでダウンボートされてるのか分からないな。AI研究者と話すと、彼らは期待が妥当だと思ってるみたいだけど…俺は業界を超えた非技術系のビジネスパーソンと仕事してるから、彼らの期待は全然妥当じゃないんだよね。ChatGPTに月20ドルで自分の仕事を全部やってもらえると思って、雇ったり計画したり予算を組んだりしてる。12ヶ月後、うまくいかないと、AIに対する反応は真逆になるんだよね — 怒り、回避、新しい製品への疑念とか。失敗が続くと、収益成長が鈍化しちゃう。企業が収益成長が低下したら（減少じゃなくても！）、投資家はすごく不安になるだろうし、評価額や株価が下がるのが見えると思う。

AGIは近くないよ。せいぜい、法律や医学みたいに人を何年も大学院に送って、無理な推論タスクをこなす分野がLLMのしっかりした応用分野になるくらいかな。コーディングは、特に生産性がかなり上がると思う。ただ、クソみたいなコードの backlog が再設計されると、新しいコード作成のためのコンピューティング需要はバブルレベルのハードウェア需要を支えられなくなるだろうね。

ハイパースケーラーたちは、AIの設備投資に運営キャッシュフローの半分以下しか使ってない。数年以内にAGIを実現するために全力を尽くすなら、もっと違った姿になるだろうね。

チップ自体は長持ちしないと思うけど、そこにかけられた研究開発は有用だよね。問題は、その価値をどうやって引き出すかだね。

2005年、通信業界は長距離料金のおかげでキャッシュカウだったし、機械式電話交換機の支払いが終わってたら、もうお金を印刷してるようなもんだった（規制が収入を保証してたから）。でも、そんなに長くは続かなかったし、多くの場所がマネージドサービスに多様化しようとしてた（Oremネットワークやサーバー機器のためのデータドッグなど）っていう「規制されていない」収入を呼んでた。ビジネスにおける書面の追加は、非合理的な熱狂が命取りになることもあるよ。

新しいファイバーは、そんなに電力効率が良くないんだ。もう一つの側面は、ファイバーが埋められてからバックホーが効率的になってないってことだね。

ハイデンシティのデータセンターは、ハイパースケーラーを支えるために作られてるけど、ダークファイバーのオーバービルドに似てると思う。2015年にそのファイバーを点灯させたとき、（おそらく）1998年に買ったラインカードを使ってたわけじゃないよね。

これらのカードは同じくらい長持ちするのかな？ 記事では、かなりのストレスのために1〜2年の経験則が引用されてる。

アルゴリズムの改善や新しい技術のおかげで、古いハードウェアも役に立つようになるよ。

使われていないGPUのキャパシティは見られないと思う 俺は、確実に見られると思うよ。企業はGPUを明日がないかのように食いつくしてるし、需要が安定して無限に成長し続けると思ってる。一方で、LLM疲れが出始めて、モデルはどんどん小さくなって、消費者向けハードウェアはどんどん良くなってる。これじゃ、たくさんのアイドルGPUが出てくるのは避けられないよ。

「私たちがプロンプトを出せるようになったら…」これが人々が犯している根本的な間違いだと思う。LLMは今のところ独立して動けないし、実質的な問題には対応できてない。多くの人がいつかできるようになると思ってるけど、実際には今は無理なんだ。AIバブルは、人々がSカーブの始まりを見て、AIの能力についてのSF的な幻想と結びつけたことで生まれた。もしかしたら彼らが正しいかもしれないけど、私は懐疑的だし、今見えている能力はLLMが到達できる限界に近いと思う。今のところ、それは十分じゃない。

「改善されたコードベース」AIのコーディングスキルについては色々な主張を見てきたけど、コードベースを改善できる（単にそれを延長するだけじゃなくて）っていうのは新しい話だね。信じる前に実際に見てみたいな。

これって、学びや改善において重要な要素であるフィードバックループを完全に無視した短絡的な意見だよね。人間でも機械でも、フィードバックループをハックしたり、出し抜いたりするのは無理だし。概念的には可能でも、実際の世界との相互作用が、可能性と最適解を分けるんだよね。簡単に実現できる改善点は、LLMがトレーニングデータのパターンに基づいてすぐに実装できるかもしれないけど、それじゃ0から1ドルにはならない。それが肝なんだよ。

ちょっと確認しなきゃと思って（数年間あまり注目してなかったから）調べたけど、やっぱりGPUの活用不足は事実で、数字もかなり大きいみたい。主な問題はメモリに制約があるから、計算がアイドル状態になっちゃうことなんだ。

"コードベースについて一晩考えてみて。リファクタリングのためのいろんな方法を試してみて。明日、君のベストな解決策を見せて。" こういうことができるようになったら、今のレートでできるだけ多くのGPU時間が欲しくなるよね。それは何もない。コーディングはテキストで行われるから。すぐに人々は高解像度の映画に生成AIを使うようになるだろうね。もしかしたらHDRや高FPS（120とか？）も。そんな動画はおそらく1分あたり100ドルから1000ドルの範囲になるだろうし、たくさんのGPUが必要になるだろうね。アメリカ軍（他の国もそうだと思うけど）は、戦場の画像を生成するために生成AIを使うことをすでに考えているよ。このタイプの生成は、高解像度の動画よりもさらに負荷がかかるだろうね。

"リファクタリングのためのいろんな方法を試してみて。明日、君のベストな解決策を見せて。" コスト/ベネフィット分析は2つの理由で合わないよ。まず、リファクタリングされたコードベースは、リファクタリングされていないものとほぼ同じように動くから、実際の利益は小さいんだ。次に、コードベースを何回リファクタリングするつもりなの？一度やって...それで終わり。十分な利益を生む作業がない限り、そんなに計算リソースは必要ないよ。つまり、今の投資は無駄になっちゃう。すべてを自動化してロボット化しない限り、私はそれでもいいけど、業界の流れとは違うと思うな。

あまり役に立たない それには同意するけど、その理論をもう少し広げたいな。過去のメカニズムについて話し始めると、可能性の幅を狭めすぎちゃうんだよね。ドットコムバブルがどう展開されるかにはたくさんの可能性があったのに、実際にどうなったかは一つだけ。もしそれが唯一の可能性だと見なすと、次のバブルがどうなるかを見逃すことになると思う。

今回はフィアットマネーと政府が味方についてるから、そこが違うね。

ルーセントとNvidia、Microsoft、OpenAI、Googleの間の会計の違いについて言われていることが、実は私たちが嘘をつくのが上手くなっただけなんじゃないかって心配してる。バブルが弾けて本当の数字が出てきたら、「ああ、また同じことが繰り返されたんだな」ってなるんじゃないかな。

ベゾスが宇宙に10GW以上のデータセンターを作る目標を公言しているけど、これがROIの話なのか、それとも超富裕層が私たちの必要から解放される未来を作るためなのか、ちょっと疑問に思うよね。労働が全く必要なくなるのが、最終的な投資回収になるんだろうね。 https://news.ycombinator.com/item?id=45465480 https://www.datacenterdynamics.com/en/news/jeff-bezos-claims...

TSLAも同じだよ。市場は基本的に新しい金持ちの銀行みたいなもので、ローンやクレジットラインで抽象化されてる。明らかにバブルだけど、それは一番金持ち以外には意味がない。俺たち一般人はただのアリみたいなもんだ。

NVDAの株は、そんなに高い倍率で取引されてないよ。非常に速い売上成長と、人類史上最も重要な技術の移行の直前においても、EPSはたったの25倍。市場は（そしてずっと）減速を織り込んでるんだ。

これだよね。基本的な経済の話。市場にちょっとした変動があれば、安い中古GPUが溢れかえることになるし、新しいものを買う理由がゼロになる。そうなったら、Nvidiaが収益を維持するのは不可能になるよ。

Nvidiaは、カードが発表されるとすぐに売り切れちゃうって確信してる。利益率は異常だし、それでも需要には応えられてないんだよね。

コロナの時代の人気企業、ZoomやPelotonについても同じことが言えるね。彼らは未来も今のままだと思って高く評価されてた。これが市場の性質なんだよ。同じような話が偽肉会社にも当てはまる。時間が経つにつれて、このパターンは見つかるよ。3Dプリンティングとか、みんな新しい流行技術をもたらしてる。OpenAIへの投資も、設備投資の減速に対するヘッジとして、顧客を確保するためのものだね。

推論は共有クラウド環境で実行するのが一番安上がりだよね、LLMの屋根線のせいで。だから、ほとんどのB2Bのユースケースは、今のAWSみたいにデータセンターが中心になると思う。もちろん、CERNはLHCの特定のトリガーモデル用にFPGAを超最適化して使うし、Appleは「ハロー、Siri」のために量子化モデルを動かす低消費電力のASICを使うけど、僕が言ってるのは大多数のユースケースのことだよ。

アームズレースの本質って、GPUをたくさん持ってるほどAGIに近づくってことじゃないの？それがここでの目標でしょ。

継続的学習が次のGPU使用のドライバーになると思うな。

2回目の返信でごめんだけど、強化学習が新たな戦場になる気がする。o1、o3、GPT-5の思考の変化を見てみて。Sonnet 3.7、Sonnet 4、Sonnet 4.5とかね。みんながB200で推論をやるようになったら、モデルはまた大きくなると思うけど、今はRLトレーニングの予算が飽くなき欲望の場になってる。