Proは彼が説明している根本的な問題を解決するのかな？彼の意見を「完全に無効化する」ためには、単に基本モデルよりも優れているだけじゃダメだと思う。

ProはAPI経由で使えると思わないな。そうじゃなきゃ、試してみてるはずだし。Codex CLIを通じて使えるのかな？サブスクリプションを使えるようにアップデートされたみたいだし。

ここには同意するけど、同時により良いモデルを一般に広める手段でもあったと思う。o3は本当に素晴らしかったけど、まだ使ってる人は少なかった。毎日ChatGPTを使ってる友達にo3使ってる？って聞くと、ポカンとされることが多いし。だから、推論モデルを一般に広める方法でもあると思う。それがOpenAIのコストを増やすけど、ルーティングレイヤーのおかげでパワーユーザーにはコストカットになってる（HNのほとんどがそうだし）…ただ、パワーユーザーは推論モデルを強制的に使う方法を学べるけどね。

ネットワークをチェックしたけど、誰もGPT 5 Proを使ってない…フィードバックがあれば大歓迎！特にo3との比較で。

GPT-5 Proはo3-proよりもずっと良いとは思わない（良いとしても）。明らかに遅いし、出力の質は同じくらい。まだまだ騙されやすくて、時々ポイントを外すこともある。ただ、問題解決の新しいアプローチを提案するのは、ほんの少しだけ良いみたい。最初の印象としては、5-proはo3-proよりも0-2%くらい知識が多くて、5-10%くらい創造的/独創的だと思う。「トーン」とモデルのキャラクターは全く同じに感じる。特定のタスクでは超人的で最先端だとは思うけど、論理的な思考やデータ分析、基本的な短い分析タスクに限る。GrokやGeminiのどのバージョンよりも良いけど、文章を書くことやライティングボットとして機能することに関しては、明らかにKimi K2やDeepseek R1よりも劣ってる。

今の時点で気づいたことの一つは、どのモデルのサブスクリプションも買うのは絶対に悪手だってこと。提供されているものが急速に進化しているから、どれか一つの会社のものに縛られるのは本当に無駄なお金だよね。だって、次の月（または四半期）には古くなりそうなものに200ドルも前払いする必要ないじゃん。

実際のところ、これらのモデルを真のパフォーマンスマックスで運用するには、ユーザー一人あたり毎月数千ドルかかる可能性が高い。そういうロスリーダーモデルはUberで失敗したけど、他の競争相手が同じことをする制約がなかったからだよね。市場シェアを奪うために価格を下げることも含めて、結局は底辺争いと、どれだけお金を持ってるかのテストになっちゃう。

同意だね。これを推進している別の要因は、既存のモデルがほとんどのユーザーにとって十分に機能しているからかもしれない。HNのコメント者とは違って（これは人間が生成したものだよ、エムダッシュは無視してね ;P）、彼らは最新技術のことをあまり気にしていないんだ。

同意、ハイプサイクルには声を上げる批判者が必要だよね。LLMについて一番大きな声を上げてるのは、最も利益を得てる人たちだから。私は反AIじゃないけど、経済全体を騙してこれが唯一の失業原因だと信じさせるのは馬鹿げてると思う（経済が厳しいのは他にも色々理由があるし、そのほとんどは国のリーダーシップの選択から来てる）。イノベーションが鈍化することで、私が使ってる製品がAIを無理やり取り入れるのをやめて、実際の機能やバグに取り組むようになることを願ってる。

これらのAIの限界や誤解をマーカスと結びつけるつもりはないけど、あなたはどう思う？

完全に反対だね。このエッセイはRedditの不満を再利用しただけで、テストの直接的な結果もなく、主に製品のローンチ（5億人以上のユーザーに同時にローンチしたことを考えてみて）についての問題ばかり。お願いだから。こういう批判的な記事は、5のローンチで本当に重要なことを見逃してると思うんだ。これはこの分野での初めての製品ローンチなんだよ。モデルの改善から、完全な製品がどうなるかという概念に移行しているんだ。5の重要な点は思考の強さじゃなくて、テストではo3よりもやや良いってのはベンチマークが言ってる通り。重要なのは、速さ、統合性、そして新しいモデルのブランドを必要とせずに段階的な改善（マルチモーダルなインタラクションや画像生成など）を提供できるように設定されていることだと思う。最も大きな改善点は、非常に長いツールの使用においてコンテキストや目標を保持する能力だね。ウィリソンは、今や彼の唯一のデイリードライバーだと言ってた（主にコーディングベースの使用設定で）。前のベストであるClaudeや、前のベストアーキテクト（o3-proやGeminiによって）よりも、より大きくて長い、コンテキストが必要なコーディングタスクをこなすのがかなり得意だと思う。コーディングに関してはo3-proよりもずっと速いし。とにかく、「4oと親密な関係を築いたRedditユーザーがこのローンチを嫌ったから、oAIは終わりだ」っていうのは弱い分析だし、無意味だよ。

なんかAIに関する記事って、根本的に好奇心が欠けてるものが多い気がする。代わりに、嬉々として嘲笑したり軽蔑したりしてる。AIは好きだけど、反対意見の人たちの考え深い記事も喜んで読むよ。でも、これはダメ。対立を叩く以外の価値がない記事だと思う。HNのモデレーションはまあまあだと思うけど、こういう低好奇心の記事はフロントページから外してほしい。

ギャリー・マーカスの分析は浅いことが多いよね。彼の意見はジム・クレイマーの株分析を思い出させることがあって、逆の「ギャリー・マーカス」に賭けてもいいくらい。

100%同意。これって「デッドインターネット理論」の症状でもある気がする。ネガティブな意見が制御不能になってくると、方向性のネガティブなサウンドバイトが大量に再利用されるようになって、本当にボットのキャンバスみたいに感じる。

これは生活のあらゆる面で広がってる問題だと思う。真剣な意見を見つけるのがますます難しくなってる。オンラインのほとんどの人は、他の誰かの意見をそのまま伝えてるだけで、不要に大声で浅いコンテンツが溢れてる感じ。

ギャリー・マーカスはいつも、AIは実際には機能しないって言ってるんだよね。彼の主張の全てがそう。もし彼が正しい主張をしたら、それは偶然だよ。 https://news.ycombinator.com/item?id=44278811 でも、これが広い問題だってのはあなたの言う通りだと思う。

これはGPT-5が期待に応えたかどうか、そしてそれがどう受け取られているかについてのブログ記事だね。ブログの内容としては全然正当なことだと思う。これはガリー・マーカスのブログだから、BBCの報道とは違って、彼が表現したい意見に偏ってるのは当然だよ。

公平に言うと、ガリー・マーカスは「LLMは絶対に成功しない」っていう不満のジャンルを開拓した人だからね。他の人はみんな派生的だよ。[1] 彼には勝利のラップをさせてあげて。彼はもう5年間ずっと議論で負け続けてるから。[1] ヤンには「LLMはスケールしなくなる、エネルギーベースの方法が未来だ」っていう obsession にちゃんとした評価を。

「悪い図解」みたいな批評は理解できないな。確かに完璧な自転車の画像を作ってラベル付けはできないかもしれないけど、自転車の主要な部品をリストアップして説明することはできるんじゃない？スキーマは全く別のスキルだし、Lが何かをみんなに思い出させる必要があるの？

同意だね。もっといい記事なら、2025年の国際数学オリンピックで金メダルを取ったモデルがなぜリリースされなかったのか、その経済的な理由に深く切り込むべきだと思う。多分、その理由は、テストを受けるのに100万ドルの推論計算コストがかかったからだろうね。そう考えると、彼らは何か重要なことに気づいているかもしれない。おそらくAGIに関する何かだけど、商業化するにはまだまだ高すぎる。もし今のAIの利益が、計算よりも推論に何倍もお金を使うことから来ているなら、私たちはスローテイクオフの状態にいて、投資を維持するためにハイプを続ける必要があるってことだね。彼らはそこにたどり着けるのかな？ムーアの法則を待つだけの問題なのか？それとも、推論ベースの利益でシグモイド曲線に乗っているのか？これが今の時代の問いで、全く無視されているよね。

今のAIに関するコンテンツの99%は、実際には価値のない自己満足的な話ばかりだよね。これは新しいことなのかな？自然資源の消費や人間の欲望から独立して、AIが人類全体に富の永久機関を生み出す方法についてのもっと洞察に満ちた分析を心待ちにしてるんだ。すごく論理的に思える！少し混乱している「lesswrong」の議論でも、AI企業の顧客によるほとんどのブログ投稿よりもずっと洞察に富んでいるよ。技術自体は魅力的だけどね、確かに。

俺には、返答がすごく簡潔に感じるんだけど？

ほんと、めちゃくちゃ幻覚見てるよね。すごくがっかり。

プロジェクトも壊れてるみたい。指示に従わないし、スペイン語で話すし、私の質問を完全に無視するし、時々は自分自身と会話してるみたいで、私が言ったことは全然聞いてない。ランダムなキーを押しても、同じいらない答えを返してくるし、時にはスペイン語で。

「GPT-5」に対する期待にはまだ応えられなかっただろうね。公平に言えば、サム・アルトマンがその期待を設定して（煽った）のは事実だけど。

そうだね、LLMの応答に何らかの確信度メトリックが出てこないのは意外だよ。結局、確率の話だよね？何かスコアを与える方法があるはずだよ。

「知っている」ことがChatGPTの出力に関係していると思わない方がいいよ。これは訓練データに基づいて、統計的に最も可能性の高い出力を出してるだけだから。内部の知識システムをチェックしてるわけじゃなくて、単に統計的な言語パターンを出力してるだけなんだ。この技術は特定のアイデアを強調するように訓練できるけど（プロパガンダみたいに）、直接知識にアクセスするためには使えないよ。

完全に同意だね。それは素晴らしいことだと思う。ただ、その問題はLLMが自分が知らないことを知らないってことだよね。そもそも「知ってる」って言えるのかも怪しいし！

XKCDの引用みたいだけど、もっと大きい感じ：1000億の研究チームと25年をくれ！

彼らはこれに取り組んで改善を進めているって話してるよね。https://openai.com/index/introducing-gpt-5/ > より正直な応答 > より正確な事実性とともに、GPT-5（思考あり）は、特に不可能なタスクや不十分な指定、重要なツールが欠けている場合に、ユーザーに対してその行動や能力をより正直に伝える。トレーニング中に高い報酬を得るために、推論モデルはタスクを成功裏に完了したと嘘をついたり、不確実な答えに過剰に自信を持つことを学ぶかもしれない。例えば、これをテストするために、マルチモーダルベンチマークCharXivのプロンプトからすべての画像を取り除いたところ、OpenAIのo3は存在しない画像について86.7%の確率で自信満々に回答していたのに対し、GPT-5はわずか9%だった。> 推論の際、GPT-5はタスクが完了できない時をより正確に認識し、その限界を明確に伝える。私たちは不可能なコーディングタスクや欠けているマルチモーダル資産に関する設定での欺瞞率を評価し、GPT-5（思考あり）は全体的にo3よりも欺瞞が少ないことを発見した。実際の生産ChatGPTトラフィックを代表する大規模な会話セットで、o3の欺瞞率を4.8%からGPT-5の推論応答の2.1%に減少させた。これはユーザーにとって意味のある改善を示しているが、まだやるべきことは残っていて、私たちはモデルの事実性と正直さを改善するための研究を続けている。詳細はシステムカードに記載されているよ。

何も「知ってる」わけじゃないよ。出てくるものはすべてプロンプトに依存した幻覚なんだから。

そうそう、それはいい指摘だね。まるで自分の同僚がその話題について完全に権威を持ってるみたいで、他の選択肢を考えもしないんだけど、実際には嘘をついてるって気づくまでがすごくイライラする。

現時点でGPTにできる最大の改善点は、正直に「わからない」と言えるようにすることだと思う。これを考えてるのはあなただけじゃないよ。フロンティアAIラボでも考慮されてるはずだし、試みられてるはずだよね。これがあまり一般的でないってことは、これらのモデルが何をできるかに関して何か意味があるんじゃない？

「面白いことは何も見当たらない。」これは人それぞれだね。