スロップが私を恐れさせる

106日前原文(ezhik.jp)

概要

AIやソフトウェア開発 が現状の「90%の完成度」で止まる可能性への不安
「十分良い」品質 が社会に受け入れられ、最後の10%にこだわる人が減る懸念
AIによる効率化 が独創性や職人気質を損なう恐れ
人間側の学ぶ意欲や責任感 の低下がもたらす問題
テクノロジーの未来 が「量産型の凡庸さ」に支配される危機感

AIとソフトウェア開発の「90%完成」の恐怖

AIやソフトウェア が現状の「ほぼ完成」にとどまる未来への危機感
AIモデル がウェブブラウザやコンパイラを「ほぼ」作れる水準で停滞する可能性
自動運転車 が「ほぼ」動くが、肝心な時に失敗する現実
90%の完成度 が「十分だ」と社会に受け入れられる懸念
最後の10% へのこだわりが消え、「出荷できるレベル」で満足する風潮
AI開発者自身 が「作ったもの」を深く理解せずに出荷する危険性
ユーザー側 も「出来の悪いもの」に慣れてしまい、問題視しなくなる現象

職人技と独創性の喪失

IKEAの家具 のような「大量生産された無個性」がソフトウェアにも波及する恐れ
ソフトウェアのテンプレ化 （Temufication）が、個性や独自性を奪う現象
- AIモデル が「Next-React-Tailwind」的な凡庸なアプリを量産
- 独自アプリ （例：Paper by FiftyThree）をAIで作ろうとしても「普通で無難」なものしかできない現実
人間の判断ミスや怠慢 も、過去から続く「スロップ（粗悪品）」の根源
- 不快な椅子、使いにくい検索結果、泣きたくなるUI の蔓延

インセンティブとイノベーションの停滞

「良いソフトウェア」を作る動機 が社会全体で希薄化
大手企業 （例：Google）が、良いアプリを模倣して市場を奪い、最終的に自社製品も終了させる悪循環
AIエージェント による「量産と淘汰」の加速
職人開発者 の努力が報われにくい環境

ユーザーと開発者の分断

AIツール が「ユーザーと開発者の距離」を縮める期待
- ChatGPT が新たな HyperCard となり、誰でも簡単にアイデアを形にできる未来
実際には、Excel職人やApple Shortcuts活用者、Notionハッカーのような人々は少数派
大多数の人々 が「技術的無力感」から抜け出せない現実
スマホを「ちょっと高機能なテレビ」程度にしか求めない ユーザー層の増加
プライバシーや品質への無関心 が蔓延

ソフトウェアの未来への危機感

「速さ」と「量産性」 が唯一の価値基準となる未来への恐怖
職人開発者や熱心なユーザー が消え、「とりあえず動けばOK」な時代の到来
誰も「良いソフトウェア」を求めなくなり、技術の火が消える 懸念
クラフトとしてのソフトウェア開発 の終焉と、その死を悼む人すらいなくなる未来

Hackerたちの意見

これはかなり微妙な話だと思う。私たちが知っている文明がどうなるのか、すごく怖い。あまり発展していない経済の人たちはなんとかやっていけるだろうけど、他の人たちはそうはいかない。裕福な人たちがさらに裕福になる一方で、仕事も見込みもない人たちがたくさん苦しむ世界の瀬戸際に立っている。大多数が収入を持たない社会は短期的には持続不可能で、最終的には暴力に向かう可能性が高い。悪い結果になるのが目に見えてる。これを止めようとする権力者は誰かいるの？

└

そう、それが彼らが非常に高度なロボットを作る競争をしている理由だよ。暴力から彼らを守るためにね。

└

資本主義へようこそ！

└

ふと思ったんだけど、裕福な人たちはバトラーやフットマン、女中などの豪華な使用人を雇い始めるのかな？彼らだけが収入を持っているから。

└

これを止めようとする権力者は誰かいるの？絶対にいないよ。 https://www.penguinrandomhouse.ca/books/719111/survival-of-t... https://www.youtube.com/watch?v=pwJQEAI_KE0

└

「私たちは、裕福な人々がさらに裕福になる一方で、多くの人々が仕事や見通しもなく苦しむ世界の瀬戸際に立っています。瀬戸際？これはもう何十年も続いている現実です。」>「収入のない人が大多数を占める社会は、短期的には持続不可能で、最終的には暴力に転じる可能性が高いです。悪い結果になるのが見えます。権力者の中でそれを止めようとする人は誰もいないでしょう。彼らはそれをうまくコントロールしようとするだけです。私は、すべての信号が三つの可能な結果（可能性の高い順）を指し示していると思います：第三次世界大戦、西側のソビエト型崩壊、または中露ブロックのソビエト型崩壊です。もしAIの約束が本物なら、第三次世界大戦の可能性がぐっと高まると思います。意味を求める「解放された」不満を抱えた労働力と、革命的なAIドローンが先導する戦場が、世界大戦に傾く要因になるでしょう。」

└

権力者は先見の明や倫理から行動するわけじゃない。行動しないことのコストが、何か面倒で不完全なことをするコストを超えたときに行動するんだ。

└

この動画、ラインホールド・ニーバーのやつ、絶対見るべきだよ。確かに悪くなることもあるけど、良くなることもたくさんあるからね。全体的な減少（または増加）について話すのはすごく難しい。どの時代にも解決すべき問題があるんだよね。

└

「発展途上の経済に住んでいる人たちは大丈夫だけど、他の人たちはそうじゃない」って、どういうこと？発展途上の経済は外部の影響から守られてるの？移民からも守られてるの？

└

ポピュリズムが高まっているのは偶然じゃないよ。それが非暴力的な出口なんだ。ダイナミクスを大きく変えようとするリーダーを選ぶこと。

└

私たちは、一部の裕福な人々がさらに裕福になる世界の瀬戸際に立っています。でも、あなたが思っているほどの程度ではありません。今日捕らえられている富のほとんどは、仮想的な富（つまり、約束）であり、仮想的な未来に届けられるものです。でも、私たちはその未来が決して来ないことを知っています。あなたが指摘するように、大多数の人々はほとんど何も持っておらず、その約束を果たすために提供できるものも増えていません。言い換えれば、それは「IOU」と書かれた紙切れに過ぎず、本当の富ではありません。しかし、その仮想的な富が提供するもの、そしてそれが魅力的な理由は、社会的地位です。人々は、最も仮想的な富を持っている人の話を聞きたがります。その人たちが何を言っているのか、すぐに耳に入ってきます。角のストリートでホームレスが何か言ったら…え、角にホームレスがいるの？人々の耳を持つ少数のグループがいるのは人間の本性です。古代では、コミュニケーションの課題により、その少数の人々は小さなコミュニティ（例えば、部族、部族のリーダーの話を聞く人々）に限られていました。今や、世界中と簡単にコミュニケーションができるようになったので、数人が世界の注目を集めるのは自然な結果です。結局のところ、それが全ての目的だったのです—「小さな部族」から「グローバルな部族」へと私たちを移行させること。仮想的な富は、今の注目を集める属性ですが、それを取り除くと、最も魅力的な外見を持つ人、面白いジョークを言う人など、他の何かに変わってしまいます。「ダンバーの数」の扱いは消えません。 > 権力者がそれを止める意志があるのか？中国はそのために万里の長城を試みました（インターネットの方ですが、物理的な方にも関連性があるかもしれません）。でも、それは成功したのでしょうか？ある程度は成功したかもしれませんが、私は中国の多くの人々がエロン・マスクの言うことをまだ聞いていると思います。その一方で、彼らのドアのすぐ外にいる何百万もの中国人を完全に無視しています。権力ができることではないのです（権力が存在すること自体が矛盾しています）。理論的には人々自身ができるかもしれませんが、彼らはそのために自然な衝動を克服しなければなりません。

90%は多いね。残りの10%を気にする？君が気にしないんじゃないかと怖い。LLMが登場するずっと前から、人々はこれを気にしていなかった気がする。むしろ、ソフトウェアの品質は「最高レベル」でもかなり低下していると思う（WindowsやmacOSなどを見てみて）。LLMがそれを悪化させるのかな？ちょっと疑問だね。というのも、LLM以前はもっと時間と管理の承認が必要だったバグ修正が、実際には早く出せるようになるかもしれない。でも、それに対して「まあ、気にしないで、使用統計を見てみて、誰も気にしてないから」と言われるだけかもしれない。

└

もし小さなチームが大きなアプリを作れるようになるなら、品質は上がると思う。

└

LLMが根本的な原因でも、劇的な転換点でもないと思います。すでに歪んだシステムを、判断よりも動きに傾けるだけです。

└

成功するソフトウェアプロジェクトは、運用者にとっての有用性とバグの間で均衡を保つんだ。そのポイントが0%のバグになることはほとんどないよ。運用者がバグを許容するのは、他の機能が動いていて、それが必要だから修正を諦めているってことなんだ。消費者がもう必要ない機能があるなんて考えは完全に間違ってる。許容できるバグは残るけど、それは常に交渉の一部だったんだ。コーディングエージェントがそれを変えるわけじゃない。もしかしたら、競争が激しくなって、特定の未解決のバグでブロックされている少数派のユーザーを引き離すことになるかもしれないし、逆にそのバグを修正する方が安く済むから修正されるかもしれないね。

AIの文脈でスロップについて話すけど、安っぽくて低品質なものとしてのスロップは新しい概念じゃないよね。多くの人が常に安い選択肢を好むから、今では使い捨てプラスチックや超ファストファッション、すぐ壊れるプラスチック製品、脆い合板の家具、安い超加工食品なんかがある。クラシックなソフトウェア開発は、私にとってはオーダーメイドの仕事のように感じていて、もちろん遅くて高価だけど、プロがやれば素晴らしい結果が出る。でも、もし安くて十分に良い結果が得られるなら、当然それが大量生産のための好ましい選択肢になるよね。

└

脆い合板の家具もし合板だったら、少なくともしっかりしていて丈夫だったでしょう。最近はパーティクルボードで、合板よりもずっと悪いです。同じ概念ですが、今は木片と接着剤ではなく、木くずと接着剤で作られ、強度を増すために異なる方向に層ごとに交互に敷かれています。パーティクルボードは簡単に欠け、湿気で早く壊れ、ネジを保持できません。でも、非常に安く、非常に滑らかに作ることができ、軽いです。でも、一般的な感情には同意します。

LLMはパレートの法則の具現化です。80%の解決策を1%の時間で得られるなら、残りの20%なんて誰も気にしないってことがわかりました。確かにそれは恐ろしいですね。存在的なAIリスクを心配している人たちは、私たちが自分たちを滅ぼす神々を生み出すのを恐れています。でも実際には、私たちの文化における大きな弱点が露呈してしまったんです。質を気にせず、消費を最大化することに訓練されてしまった。これは本当に新しいことではなくて、コンテンツファームはすでに存在していましたし、『死ぬほど楽しむ』は1985年に書かれました。文化への批判はそれ以前から存在していました。でも、データセンターの建設の無駄を見て、そんな文化の終焉を目の当たりにするのは衝撃的で嫌悪感を抱きます。

└

データセンターの建設をこのように考えると、ちょっと不気味に感じます。計算が悪いわけじゃなくて、すでに質を大事にすることを理解できない文化を加速させるために、地球規模の資源を燃やしているからです。

└

すごく上手く言ったね。この状況についてのもっとも説得力のある洞察の一つだと思う。私が言おうとしてたことに触れてる気がするけど、うまく言葉が見つからなかった。質が大事なんだよ。いつもそうだし、これからもそう。もしそうじゃないって自分に言い聞かせてるなら、あなたは運命を共にする考え方の一部で、結局は先を見越して考える人たちに負けてしまうよ。[追記: 残念ながら、この文脈での「結局」は、非常に長い時間か、あるいは決して来ないかもしれない。人間は非合理的な生き物で、しばしば現在の感情を他のすべてより優先してしまうから。]

LLMベースのシステムには深い懸念がありますが、他のスレッドやコメントでも話しています。ただ、この特定の記事に関しては、私が感じる恐れは大規模なLLMの普及よりも前から存在していました。「人工知能」をオフショア労働（「実際のインドアジア人」っていうミーム名）に置き換えれば、いくつかの類似点があります。安価なスパゲッティコードが「ほぼ機能する」っていうのは、GPUのファームではなく人間のファームによって書かれたものです。結果はほぼ同じです。主な違いは、今や「オフショアリング」のコストをほぼゼロにするために（持続不可能な大規模なプライベート投資を通じて）補助金を出していることです。もちろん、それには独自の問題があるけれど、最終的にはそのツケを払わなければならないでしょう…。

先日、YouTubeの動画を見ていたら、ある人が自分のウェブサイトがGoogleの検索結果から消えていくことを不満に思っていました。長い話を短くすると、彼はGeminiのアドバイスに従って言い回しを変えたら、やればやるほどパフォーマンスが良くなったけど、ウェブサイトがもはや自分を表していないと感じていました。もうすぐ、私たちはみんなAIに導かれる肉人形になってしまうでしょう。

└

実際、ルイ・ロスマンが修理への本物の支持をテキストの便利さに変えざるを得なくなっている。

商業的な事業は、競争の力や規制によって財政的に動機づけられる限り、正確に気にしなければならなかった。私の経験では、コーディングエージェントは、納期に追われている開発者がスキップするような最終的な仕上げやギャップを埋めるのが実際に得意です。

恐ろしいのは陳腐化じゃなくて、平凡さが限界になってしまうことなんだ。AIは技術的には動くコードを生成するけど、ソフトウェアを維持可能でエレガントにするための思慮深さが欠けてる。「90%の解決策」が出荷されるのは、経済的なプレッシャーが質よりもスピードを重視するから。私を悩ませるのは、コンパイラは設計の決定を下さないし、IDEもアーキテクチャを選ばないってこと。AIはその両方をやっていて、ほとんどのユーザーはその選択を批判なしに受け入れてる。もうすでに、コパイロットなしでデバッグしたことがないジュニアたちが増えてきてる。著者の本当の疑問は、ほとんどの人が本当に最後の10%を気にしないとしたらどうなるかってこと。怠惰からじゃなくて、「十分良い」方が安くて、みんな疲れてるから。これを「ただの道徳的パニック」と片付けるのは簡単すぎる。手作業が死にかけてるのは、AIが優れているからじゃなくて、平凡さが利益を生むからなんだ。

ジェネレーティブAI製品が広く使われるようになってきた今、みんなが歴史的な文脈で世界を見てないのがちょっと悲しい。世界に対する「AI効果」は、過去の出来事と多くの共通点があって、世界の仕組みをほとんど変えないんだ。> 「出荷するには十分良いことが恐ろしいし、他の誰も気にしていないのが恐ろしい。」ほとんどの製品やサービスにおいて、機能や結果をほぼ静的に保ちながら「質」をスケールさせることが可能だった。実際、資本主義的な活動の多くは、最低限の要件を達成するための最も安くて早い方法を探すことに過ぎない。これが、私を含む多くの人が特定の製品やサービスの質に嘆く理由なんだ。たとえば、他のものよりもずっと長持ちする登山靴を作ることは可能だけど、もし20マイルだけ持てばいいって要件なら、長持ちしないものに安く払った方がいい。ソフトウェアも同じだよ。ほとんどのユーザーは、セキュリティやプライバシー、メンテナンス性、堅牢性、その他の多くのことについて全く知らないし、気にもしてないし、心配もしてない。なぜかこれが多くの人にとって常に恐ろしいし、驚きなんだ。ここには驚くべきことは何もない。何年も前からこうだったし、これからも続くよ。もちろん例外もあるけど、ほとんどの場合は上記を前提に考えるのがベストだね。

└

高品質（数十年持つ）で低ボリュームの製品を作る会社のほとんどが倒産することも指摘しておくべきです。人々はお金で投票し、資本支出を望んでいません。言い換えれば、ここにいる誰が自分の家より高い車を欲しいと思いますか？それとも、2000ドルの靴？

└

例えば、他の靴よりも長持ちする登山靴を作ることは可能です。でも、必要条件が20マイル持つことだけなら、長持ちしないものに少ないお金を払う方が良いです。確かに、でもOPの懸念は、これがイノベーションを妨げるかどうかです。もっと良い登山靴、長持ちして安くて、もしかしたらもっと快適なものが、靴職人がナイキの生産ラインを最適化するのに忙しすぎて見つからないのではないでしょうか？

└

歴史的に見て、すべての主要な汎用技術は同じ軌道をたどりました。印刷は手稿の質を低下させながら、アクセスを大幅に増加させました。工業化は職人技を標準化に置き換えました。初期の自動車は馬車に比べて信頼性が低く危険でしたが、十分でスケーラブルだったために勝ちました。インターネットは編集基準を低下させながら、前例のない配布を可能にしました。これらの変化は逆転しませんでした。高品質は経済的に正当化されるニッチでのみ持続する新しい均衡に安定しました。

└

ここには、品質とコストの間に逆の関係があるという誤った二項対立がある気がします。私は、期待通りに機能し、永遠に持つ安い商品をたくさん見てきましたし、購入価格や開発コストが高いプロジェクトの中にも、ただのゴミのようなものがたくさんあります。だから、こんなに雑なものがあって「まあ、少なくとも早くて安いから」と言う。それがあなたが主張すべきことなのか分からない。なぜ最初から高品質で安いものを持てないのでしょうか？

└

ほとんどのユーザーは、セキュリティ、プライバシー、メンテナンス性、堅牢性、その他の多くのことについて、全く知らず、気にせず、心配もしません。ちょっと指摘：ほとんどのユーザーは、何か重大な問題が起こって自分に影響が出るまで、これらのことを気にしません。例えば、大規模なデータ漏洩や持続的なグローバルダウンタイムが起こったときです。その時、彼らは怒ります。とても怒ります。今は人々が気にしていないからといって、将来気にしないわけではありません。編集 — これが隠れた要件です。 > 例えば、他の靴よりも長持ちする登山靴を作ることは可能です。でも、必要条件が20マイル持つことだけなら、長持ちしないものに少ないお金を払う方が良いです。要件が変わるまで、または隠れた要件が出てくるまで…ほとんどのソフトウェアエンジニアは、要件が途中で変わった経験を何度も思い出せるでしょう。そう、私もソロプロジェクトでやったことがあります。今、私たちは20マイルしか持たない靴を持っていますが、35マイル行く必要があります。

ドクター・ストレンジラブ、または：心配するのをやめてスロップを愛する方法 https://news.ycombinator.com/item?id=46926439

ハクソク