それとも、広告を使うだけかもね。どんな質問をしても、返答はクールでさわやかなコカ・コーラのソフトドリンクをおすすめするだろう。あなたのAIコーディングプロジェクトは、自動的にAnthropicのために収益を集める広告を表示するし、あなたのためじゃない。あなたのAIエージェントが送る10通のメールのうち1通は、受取人にGeicoに切り替えることを考えてもらうように促すだろう。チャンスは無限大だね。

例えば、Perplexityは利益を見せるために、COGSをR&Dに移して会計数字を誤魔化しているって話だよ。詳しくはここを見てね: https://thedeepdive.ca/did-perplexity-fudge-its-numbers/

この記事にリンクされてるDeepSeekのAPIサービスの分析を読んでみて：彼らは500%の利益率を持っていて、同じモデルを提供しているアメリカの企業よりも安いんだ。OpenAIやAnthropicのAPIサービスは、もっと高い利益率を持っている可能性もあるよ。（GPUは一般的に、CPUよりもコスト効率が良くてエネルギー効率も高いから、解決策が両方のアーキテクチャにマッピングされる場合ね。Anthropicは確実に、彼らの24kトークンシステムプロンプトのKVキャッシュをキャッシュしてるし。）

それに、彼らが利益を上げている証拠もないよね。もちろんあるよ。AWSや他のホスティングプロバイダーに行って、推論のためにお金を払ってみて。AWSが他のモデルの使用を無限に補助してくれると思ってるの？ > 今日のデータポイントを見る限り、企業はAIの優位性を得るために、収益がまだ出ていないのに、信じられないほどの資本支出をしているよ。そう、資本支出であって、運営費じゃない。推論を運営するコストは運営費だよ。

無料ユーザー向けの広告が出るまで待ってみて。これは絶対に起こるよ。その広告がどれだけ巧妙かによっては、製品やサービスを直接文脈の中で勧める形で、めちゃくちゃ利益を上げる可能性もある。

でも、推論の限界コストがまだわからないんだよね。今のところ、ユーザーは従来のウェブ体験よりもLLMに対してお金を払う意欲があることを示している。一方で、カードは過去3年間で>8倍効率が良くなって、推論エンジンは>10倍効率が良くなっているし、原モデルも少なくとも横ばいか、もっと効率的になっている。次の2年間で推論コストがさらに10-100倍減る可能性が高いよ。

市場シェアを獲得するためのロスリーダーになりそうなAPI（ホスティングされたLLMクラウドモデル）。もうそうは思わないよ。オープンソースモデルをホストしているAPIプロバイダーを見ると、APIコストと推論ハードウェアコストの間にかなり健康的なマージンがあるのがわかるよ（もちろん、これが唯一のコストではないけど）[1]。それに、彼らの独自の推論最適化は考慮に入れていない。OpenAIやAnthropicのようなクローズドモデルAPIプロバイダーについては、彼らのモデルサイズに関するあまり秘密ではない情報をもとに、ある程度の推測ができるよ。私の知る限り、AnthropicはAPIコストと推論ハードウェアコストの間に非常に良いマージンを持っている。 [1]: これは、スケールでそれらのモデルを運用するのにかかるコストを知っていれば、自分で確認できることだよ。市販のソフトウェアを使うとしても、彼らはうまくやっている。

2024年夏にOpenAI APIの収益性を分析した結果、gpt-4クラスのモデルの推論はかなり利益が出ている可能性が高いことがわかったよ。粗利率は約50%（モデルのトレーニングにかかる資本支出は無視して）: https://futuresearch.ai/openai-api-profit

いろんなモデルがあって、価格もバラバラだよね（LLM同士の比較も結構難しいし）。この「損失リーダー」の理論に基づくと、全ての企業がコストを下回る価格設定をしていると考えなきゃいけないのかな…？ もしそうなら、かなり無茶な主張に思える。今のモデル開発の流れを考えると、これらの企業が次にどう進むのか、ステップ2は何なのか気になるよね。もっと現実的な仮定は、会社の存続を心配しない程度には利益が出ているってことだと思う。すごく高額なモデルを作って、信じられないくらい高いインフラを構築しなきゃいけないのに、明確な次のステップもないまま赤字で運営するのは、全ての企業がインファレンスで利益を出せない価格設定をしているとしたら、かなり変な考え方が必要だよね。

この理論の問題は、クラウドインファレンスプロバイダーの数が膨大で（ほとんどがサードパーティのモデルをホスティングしてる）、もし全ての企業が同じ戦略をとっているとしたら、それはかなり奇妙だってことだよね。そして、彼らがそれを実行するための同じ財政的な余裕を持っているのも不思議。

「市場シェアを獲得するための損失リーダーになりそうなAPI（ホスティングされたLLMクラウドモデル）」みんなこれを繰り返すけど、私は全然納得できない。モデルやサービスプロバイダーをシームレスに切り替えられるサービスが実際にあるし（openrouter）、ロックインが全くないんだよね。「市場シェアを獲得する」ために赤字で売るのは、完全に愚かだし、VCもそれが分かると思う。

10億ドルを稼ぐためには、中国の全員にコーラを売ればいいだけだよ。中国でコーラを配っててすごく人気だから、これでうまくいくと思う。

5億人の月間アクティブユーザーがいるってことは、すでに何人かはお金を払ってるってことだね。彼らから平均で1ドル以上を引き出さないといけないし、全員が月に1ドル払うようにするだけじゃダメだと思う。これって、500万人が今は何も払っていないと仮定するよりも難しいんじゃないかな。

ああ、もっと明確に言うべきだったな。これが同じようなコメントを2回目もらった理由だ。ユーザーを月1ドルのサブスクリプションに変えるなんて言ってるわけじゃない。それは確かに馬鹿げたアイデアだよ。言いたいのは、十分な性能のLLMはすごく安くて、広告で簡単にマネタイズできるってこと。それに、全然近くもない。広告でマネタイズされている同じくらいの規模の消費者向けサービスを持つ他の企業を見ると、ARPUは1ドルよりずっと高い。多くの人が「LLMは高すぎて広告支援なんて無理、サブスクリプションしか選択肢がない」っていうメンタルモデルを持ってるけど、2年前はそうだったかもしれないけど、今はそうじゃないと思う。

500万人のユーザーの中で、すでにお金を払ってるのはごく少数だから、全員がゼロから1になるわけじゃないけど、もっとマネタイズして月10ドルから100ドルにするってことだね。これがあなたが提示したものより簡単か難しいかは不明だけど、どちらも難しいよ。

こういうサービスは、ユーザーが提供するデータの価値がサブスクリプションの価格よりも高いから、赤字で運営されてると思ってた。

ビジネスモデル全体は、推論が小さな建物の物理的なスペースとコストを占める限りしか機能しないかもしれない。個人用コンピュータが建物全体を占めていた時代から数十年後、同じ計算能力を持つ（ポータブルな）「パーソナルコンピュータ」に移行したからね。大手テック（やNSAなど）ではなく、自分の小さな推論ボックスに全てのデータと人生を送るのが待ちきれないよ。

簡単だよ。OpenAIが損益分岐点を超えるためにやるべきことは、メモを取って、20年以上運営されているGoogleの数兆ドルの広告エンジンとネットワークを再現することだけだよ。

同意。500万人の有料ユーザーがいると、使用状況が劇的に変わってコストも上がるだろうね。1%のユーザーを変換するのが理想的だけど、それでも年間1000ドルになる。

$1の収益化は$1のサブスクリプションを意味しない。広告やアフィリエイトリンク、トラフィック契約を意味するんだ。

これは記事の他の部分から逸脱しているけど、この「ただ」はアトラスが空を支えているよりもずっと重い役割を果たしているよ。ユーザーを$0から$1にするのは、$1から$2にするよりも計り知れないほど難しいし、実際の金額にリアルな価格を付けた瞬間に、ほとんどのアクティブユーザーは離れていくと思う。確かに難しいけど、全員に払わせる必要はなくて、無料ユーザーを効果的に補助するために十分な人が払えばいいんだ。

大規模言語モデルが気候に直接影響を与えるとは思わなかった。

これがまだ真実かどうか理解したいな。

まず言っておくけど、気候変動や炭素の使用にはすごく関心があるんだ。AIの使用は大きな問題じゃなくて、実際には私たちが注力すべきところから目をそらす要因だと思う。https://www.sustainabilitybynumbers.com/p/carbon-footprint-c...

テレビを見るのは、気候への影響やそれに伴うコストを考えると、安くないよね。

これは電力使用量だけなの？

anecdotalに言うと、私は有料ユーザーで、すごく基本的なクエリをたくさん使ってる。これってバグ？ HOAにメールに書き直して、私をノームに変えて、西バージニアが最悪の州なのはなぜ？ もしどこかのプロバイダーがファミリープランを売って、子供たちが有料アクセスを得たら、これが10倍に増えると思う。私の重い作業はほとんど仕事関連で、雇用主のポケットを通ってるし。

問題は、従来の検索エンジンモデルがますます役に立たなくなってることだと思う。検索エンジンを使う専門家が減ってきてるし、普通の人は検索エンジンをインデックス検索としてではなく、人間のように扱ってる。古いスタイルの検索エンジンに「アメリカの首都は何ですか？」って聞くのは、実はちょっと違うんだよね。「何ですか」が多分余計で、答えが載ってる教育的なウェブサイトを見つけることを期待してるんだ。実際、「アメリカの首都は」と言った方が検索エンジンには合ってると思う。そういう文が知りたい情報を含んでるからね。それに「SEO」のせいで、関係ないサイトがGoogleに自分のサイトが関連性があると納得させようとするサイトが山ほどある。だから、LLMはますます、実際に関連するキーワードを含まない非公式なクエリに対して重要になってきてるし、無駄な言葉やスパム、広告、購読のリクエストをバイパスできるから、すごく役立つんだよね。

「LLMを使うなら、大量のデータを解析したり、画像認識、複雑な分析、深い思考/推論、コーディングのためだよ。これらは、2行の「あなたの質問の答えはxyzです」っていう返事よりも、ずっとトークンを使うことになる。」確かに、その通りだけど、あなたは普通のユーザーじゃないよね。パワーユーザーだ。

「全ての比較は人々が単純な事実検索しかしないことに依存している」確かにその点はあるけど、そうじゃないよ。記事でも少し触れてるけど、Open AIは2024年の使用量に対してかなり低い損失を出してた。50億は多いように見えるけど、chatgpt.comだけでも2024年には毎月地球上で最も訪問されたサイトの一つで、その訪問者の大半は完全に無料のユーザー（広告なし）だったんだ。昨年の12月にOpen AIはchatgptが1日あたり10億メッセージを超えてるって言ってたし、サービス全体で人々が何をしてるかを見ると、推論はそんなにコストがかかるようには思えない。

比較は文字通り、両方のメカニズムを使って答えを求めることに基づいてる。そして、単純な真実は、膨大な割合のユーザーにとって、まさにそれが検索エンジンとLLMの使い方なんだ。質問の答えが欲しいし、もしそれが満足できなければ、さらに深く掘り下げるためのリンクも欲しい。だからこそ、GoogleはAIの「答え」を追加し始めたんだ。ウェブはちょっとがんになってるみたいで、SEOをうまく利用するサイトは、最もユーザーに優しくない行動をしてるから、検索がほとんどの人にとって不快になっちゃった。だからGoogleは概念的にアウトバウンド訪問を置き換えたんだ。

この比較は、人々が単純な事実検索しかしていないことに依存しているんだよね…検索エンジンとLLMの両方で。私はそうは思わないけど、そう言う人がいる理由はわかる。記事の著者がこう書いているからね。> だから、LLMをウェブ検索と比較してみよう。検索は同じ領域にあって、誰もが使っていて、誰もお金を払っていないから比較対象として選んだんだ。無根拠な生成AIが検索の良い代替になるとは言ってないよ。とはいえ、「LLM APIは補助されているのか？」という記事の分析は、検索エンジンとの比較に依存していない。基本的な分析はシンプルで、単位あたりの{価格対コスト}を比較することだよ。目的は、単位あたりの限界利益/損失を見つけること。LLMの場合、単位はしばしばトークンかAPIコールだよ。要するに、検索エンジンのコストとの比較は、LLM APIが補助されているかどうかを評価するためには必要ないんだ。

「検索エンジンを使っているときは、ウェブを検索したい」確かに、これらのエンジンは検索結果だけでなく答えを提供するようになってきているけど、それはAPIの機能じゃなくてUI/プロダクトの機能だよね。これはいいポイントだ、覚えておこう。 >「LLMを使っているときは、大量の入力データの解析、画像認識、複雑な分析、深い思考/推論、コーディングのためだ」強く反対。グーグルで検索するとき、どのリンクが自分が探している情報を持っているのか明確じゃないことがあるし、もちろん、検索する前にはそれがどうなるか分からないよね。まず、LLMを使えば検索結果の無駄を減らせる。直接的な答えやリンクを提供してくれるから。でも、仮に彼らが主張の根拠を示せなかったとしても、時にはオープンエンドな質問よりもポジティブな「事実」を検索する方が早いこともある。この場合、直接的な情報源が必要なら、LLMに問い合わせて、確信を持って「多分正しい」回答を得て、その「事実」をグーグルで検索して確認することができる。 「グーグルしているときはインデックスが欲しい」という考えは理解できるけど、グーグルが検索結果を埋もれさせている理由もある。人々はますますインデックスを求めなくなってきているから、ますます役に立たなくなっている。結局、探している情報を見つけるためにあるんだよね。

株価が上がるのも、会社が利益を出してる一つの方法だよね。アマゾンのプレイブックは10年以上これだし。

もちろん、でもAlphabetは検索市場で多くのシェアを獲得して、広告を見せることで信じられないほど利益を上げてる。AI企業は、AIが人々にとって同じくらい重要になると賭けていて、製品にある程度の粘着性があると考えてる。つまり、市場シェアは最終的に収益に変わる可能性があるってこと。これらのどちらも比較的可能性が高いと思う。

「アメリカン航空のDFW-CDG便の最大手荷物サイズは？」って聞いてみたら、ウェブ検索を使って正しい答えを出してくれて、航空会社やFAAのサイトへのリンクもくれた。こんな風に使わない理由がないよね？

いやいや、最近のことについてはいつも質問してるよ。LLMがウェブ検索して、複数のページを読んで要約してくれるからね。4oは常に最新の質問に対してウェブ検索をして、確認できる参考リンクを返してくれるし、もしそうしなかったら検索してって言えばいいだけ。o3はその間にたくさんの検索をして、いろんな角度から見るよ。