世界を動かす技術を、日本語で。

正直に言うと、生成AIはあまりうまくいっていない

概要

  • LLMs (大規模言語モデル)に対する信頼性の問題
  • 記憶 への依存が依然として大きい現状
  • 社会的・経済的価値 の限定的な貢献
  • スケーリング による問題解決の限界
  • 技術への過度な期待と政策判断のリスク

LLMsの信頼性と価値に関する最新ニュース

  • LLMs は依然として 完全な信頼が置けない 技術
  • 多くの出力が 単なる記憶の再現 に過ぎない現状
  • Geoffrey Hinton の主張とは異なり、記憶依存の問題が継続
  • 社会や経済に対する 定量的な価値提供が限定的
  • Remote Labor Index の調査では、AIが実際に対応可能な仕事は全体の 2.5% 程度との報告
  • Washington Post でもこの調査結果が引用
  • モデルの スケーリング による性能向上が頭打ちの兆候
  • スケーリングのみで 根本的な課題解決は困難 との見方
  • 経済や地政学的政策を 未成熟な技術 に依存させることのリスク
  • 劇的な進歩への期待 だけで政策を決定するのは危険

Hackerたちの意見

この投稿は、記事のスクリーンショットが4枚あるだけで、コメントや議論も全然ないんだよね。

あんまり厳しく言わないで、ガリーが批判にこれだけの努力をしたのは久しぶりだし、良い批評は大事だけど、これはちょっと違うかな。

ほんとその通り!5文の記事が大きな主張をしてるのは皮肉だよね。誤解しないでほしいけど、アイデアには賛成だよ。ただ、うちの子たちが4年生の時に書いたエッセイの方が長かったりするし。

一方で、共同創業者が過去に何百万もかけたコードを数週間で一人で書き直してるんだよね。俺自身はデザインや写真でかなりの金額を節約して、しかも結果も良くなってる。これがあまりうまくいってないなら、普通レベルに達するのが待ちきれないよ!

その間に、私の共同創業者は、過去に何百万もかけて支払ったコードを数週間で一人で書き直してるんだ。コードは資産じゃなくて負債だし、誰もレビューしてないコードはさらに厄介。だけど、結局、重要なのは実行力だから、君と共同創業者が生成したコードの山を使ってうまく実行できるなら、短期的にどんな資産や負債を持ってるかは関係ないよ。長期的なことは、どちらにしても予測が難しいしね。

笑 同じく。最近、mermaidで図をたくさん書いたんだけど、普通なら一週間かかるようなものだし、フロントエンドエンジニアのためにUIのモックも作ったんだけど、これもまた一週間かかるかな…デザイナーとかもいるしね。全部、会議の合間にやってるんだ…うまくいくのを待って、他に何ができるか見てみたいな!

直接比較はできないよ。コードを書くのが初めての時が一番難しいのは、要件を途中で把握しなきゃいけないことがあるから。初期のシステムがしばらく動いていると、2回目はやりやすくなるんだ。要件の問題が解決されてるからね。ところで、なんで君の共同創業者が書き直しをしなきゃいけないの?

「一方で、私の共同創業者は、過去に数百万の給料をかけたコードを、数週間で一人で書き直している。なんで?別に悪く言うつもりはないけど、AIはコーディングにおいてかなり素晴らしいと思うし、生産性や質を大幅に向上させることができる。だけど、彼がこれをやっている理由が気になる。」

コードの書き直し ここが重要なポイントだね。コードはすでに書かれているから、書き直すこと自体はあまり量的な価値を加えているわけじゃない。最初に何百万も使ってなければ、書き直すコードもなかったはず。

このスレッドでは、機能している技術に対して影を落とす人たちがいて、完璧な世界と比較したり、テストなし、E2Eや手動テストなしといった変な仮定をして主張を作り上げたりしている。ホットテイク:ほとんどのソフトウェアエンジニアはクソみたいなコードを生産してる。制約や自分の能力によってね。LLMも同じことをするけど、コストが低くて速く動ける。使い方が分かれば、コードは大丈夫。コードは商品で、未来には多くの人がそれに気づかされるだろう。もしあなたの価値提案が要件をコードに翻訳することなら、ちょっと気の毒だね。LLMの出力品質はオペレーターの能力に依存する。私の経験では、ほとんどのソフトウェアエンジニアはここで良いシステム思考を持っていない。フラクショナルCTOとして、10年間共同創業者/CTOをやってきた中で、多くの人やコードベースを見てきたけど、大半はただ悪いものだった。現実のコードベースや開発者の出力を比較する必要がある。人々が望んでいるものではなくてね。現実はほとんどがクソで、ほとんどのソフトウェアエンジニアは仕事が下手だ。

LLMがプログラミングの生産性を向上させるのは、彼らが訓練されたプログラムの著作権制限を回避するからだよ。もし、既存の多くのプロプライエタリやオープンソースのプログラムを自由に再利用できたら、プログラマーの給料に何百万も使う必要はなかったはず。誰もが制限なしにプログラムを再利用できるのは全然問題ないけど、これらのAIプログラミングツールによって、裕福な人たちは著作権を無視できる一方で、貧しい人たちは以前と同じように制約を受け続ける。プログラムの著作権は、何十年にもわたってプログラミングの努力を大幅に増加させてきた。みんなが似たようなプログラムを何度も書き直して、自分の会社が「IP」を所有するためにね。今、LLMは別のタイムラインで何が起こったかを暴露している。LLMは膨大なプログラムのデータベースを迅速かつ簡単に検索できるという追加の利点があるけど、その利点だけでは、同じデータベースを従来の手段で検索して再利用可能なコードを見つける有能なプログラマーに対して、かなりの生産性向上にはならないだろうね。

なんで何百万ドルもかけてコードを書き直す必要があるの?

Hacker Newsで議論の続きを見る