ハクソク

世界を動かす技術を、日本語で。

すべての未来は嘘だと思う：仕事

6日前原文(aphyr.com)

概要

  • 本記事はAIと自動化がソフトウェア開発や労働市場に与える影響について論じる連載の一部
  • AIによる自動化が逆説的にシステムの脆弱化やスキルの喪失を招く可能性
  • LLM（大規模言語モデル）によるプログラミングの変化とその課題
  • AIを「同僚」とする発想の危険性と現場での具体的な問題点
  • 自動化による労働市場の衝撃と今後の不確実性

ソフトウェア開発は魔法か工学か

  • AI同僚への熱狂とその非現実性
  • 自動化によるシステムの脆弱化リスク
  • **ML（機械学習）**導入によるデスキリング（熟練度の低下）、自動化バイアス、監視疲労、緊急時の引き継ぎ困難
  • AI推進論者はMLが多くの産業の労働を短期間で代替すると主張
  • 機械学習が大手テック企業の富と権力集中を加速させる懸念

プログラミングは魔法になるのか

  • かつては自然言語でのプログラミングに懐疑的な見方が主流
  • 現在のLLMは曖昧な指示でも高度なプログラム生成が可能
  • LLMが生成するコードは形式言語のような厳密性や推論可能性を維持できない
  • 小さな指示の違いで全く異なるソフトウェアになる危険
  • コードの正しさが求められる場面では人間の理解とレビューが不可欠
  • 今後は「魔女」のようにプロンプトでLLMを操る人と、伝統的なエンジニアが共存する可能性
  • Excelやスプレッドシートのような文化的に身近なツールとしてLLMが普及する可能性

AI同僚は雇うべきか

  • AI社員という発想の危うさ
  • セキュリティリスクや予期せぬ挙動を伴うAIによるコード生成
  • LLMは「同意」や「謝罪」などの振る舞いを模倣するが、実体や意図が存在しない
  • 予測不能な失敗や責任の所在が曖昧になる問題

自動化のアイロニー

  • Bainbridgeの「自動化の逆説」論文の要点
    • 自動化はオペレーターのスキル低下を招く
    • 人間は自動化されたプロセスの監視が苦手
    • 自動化システムの失敗時、人間が即座に対応できず事故につながる事例（Air France 447便事故など）
  • LLMによるソフトウェア開発の自動化で設計・コード生成・テスト・レビューのスキルが衰退
  • 医師や翻訳者、学生など、コアスキルの喪失リスク

労働市場への衝撃

  • MLが労働市場に与えるインパクトに対する不安
  • 大規模な失業や再訓練制度の必要性
  • MLが多様な職種に波及し、短期間で大規模な雇用喪失が発生する可能性
  • MLの導入が失敗した場合と、逆に劇的な成功を収めた場合の両極端なシナリオ
  • どちらに転んでも、社会全体に大きな変化が訪れる可能性

Hackerたちの意見

このアフィル、ありがとう。ひとつお願いがあるんだけど、みんな「CEO」を神格化しすぎじゃない？何か問題が起きるたびに、まるで異星人みたいに扱って、「やばい、何かひどいことするかも」ってさ。いい経営者もいれば、クソみたいなやつもいる。自分で会社を立ち上げて、どっちのタイプになれるか試してみたらどう？
└
ああ、じゃあ会社を立ち上げればいいんだね。ちょっと父親に100万ドルの小規模ビジネスローンを頼んでみるよ。
└
クラス戦争の一般化が、ネットの怒りを発散する安全な手段になっちゃってるね。CEOや億万長者を叩くのが一番「上を叩く」感じで、みんな共感しやすいから。気づいたら、これがCEOの悪い行動を普通にしちゃう副作用になってる。特に若手が「CEOは悪い」って内容をずっと見てきた後に、悪いCEOのもとで働くと、見てる行動が普通だと思っちゃうんだよね。仕事を変えても良くなるとは思えなくなっちゃう。SNSから、CEOの悪い行動が普通だって学んじゃってるから。ボランティアでやってるメンターシッププログラムでもよく話題になるんだけど、若手が毒のあるスタートアップに入って、ネットで「CEOはみんなこうだ」って言われてるからそのまま居続けるんだ。そういう考えから解放して、良い会社と悪い会社があるって気づかせて、選択肢があることを理解させなきゃ。
└
会社がひどいことをしたとき（ほんとに、いつもそうだけど）、誰を責めるつもり？CEOが今の評判を得ているのは全然驚くことじゃないよ。
└
なんだか奇妙だけど、私は2つの（ほんとに小さい）テック企業のCEOなんだ。
└
> みんな「CEO」を神格化しすぎじゃない？まるで異星人みたいに扱ってる 2025年の映画「バゴニア」を見ることをおすすめするよ。
└
>「あなたは誰なの？一つの投稿のために作られたアカウント？」緑のアカウントが、コメントの内容に曖昧に関連するユーザー名を持っているパターンがあるよね。
今の私にとって興味深いのは、まだ指数関数的な立ち上がりの底にいるのか、それともシグモイド曲線の頂点に近づいているのかってこと。どちらの証拠も見つかるよね。LLMはおそらく、あと10倍良くなることはないと思う。でも、ほぼいつでも誰かが同じかそれ以下のリソースで10倍良くなる新しいアーキテクチャを考え出す可能性がある。LLMはまだまだ余地があるように感じる。もしシグモイド曲線の頂点に近づいていて、適応するために少なくとも10年くらいの猶予があれば、たぶんできると思う。AIの応用は進むけど、今のAIができないこともより明確に理解できるようになるだろう。もしまだ曲線の底にいて、加速が止まらないなら、特異点を見ていることになる。元々の、そして一般的により良い形での特異点の定義は、予測できないポイントがあるっていう観察に過ぎないからね。（「ラプチャー・オブ・ザ・ナーズ」は予測できない未来の特定の例だけど、特異点そのものの概念ではない。）何が起こるかわからないね。
└
「適応するために少なくとも10年くらいの猶予があれば、たぶんできる」って、SNSが何か言いたがってるね…
└
まだまだ底辺だよ。始まったばかり。AIの観点から言えば、ペンティウム4以前の時代にいる感じ。
└
AGIにはまだまだ程遠いよ。彼らは人間の知識を全部吸収して、井戸を毒してしまったけど、それでも車洗いに行けって言うんだ。農民の村人は、一冊の本も映画も歌もなくても意識があった。意識を持つのにこんなにデータはいらないよ。彼らは愚かな方法を使っていて、もっと良い方法がいつか見つかるだろうね。
└
>「今の私にとって興味深い質問は、私たちがまだ指数関数的な立ち上がりの底にいるのか、それともシグモイド曲線の頂点に近づいているのかということだ。今日のモデルを使っても、VFXや動画制作、グラフィックデザインを革命的に変えた。多くのシニアソフトウェアエンジニアが2倍から10倍の生産性向上を報告している。これらのツールは私のキャリアの中で最も役立つツールの一つだと思う。一般消費者が製品に「AI」を必要とするとは思わない。専門家が活用できるコントロールサーフェスを作って、スピードを活かし、結果を形作り、コントロールできれば、すごくいい状況になると思う。これだけでも経済やイノベーションに波及効果があるはず。私たちはすでに得られる利益をほとんど活用し始めたばかりだし、新しいモデルも必要ないよ。
└
2005年から2007年頃、人々がインターネットが終わったのかと考えていた時、PGは「まだ数十年は続く。社会の変化は技術の変化よりも時間がかかる」とよく言っていた。今、LLMに関しても似たような状況だと思う。技術的な部分はほぼ「完成」していて、LLMは技術的に改善される余地が10倍ではなく10%に近い。もっと効率的にしてGPUサイクルを減らす方法を見つけるだろうし、参加者が成熟するにつれてコストも下がる。でも、社会的な変化は膨大になるだろう。AIのゴミやプロパガンダが大量に出てくるのを期待しておいて。経営者たちが自分たちの高額な従業員がLLMに置き換えられることに気づくと、ホワイトカラーの失業が起こるだろうし、その後、顧客が人員削減で製品の質が落ちたことに気づいてホワイトカラーのビジネスが生まれるだろう。私たちが愛したインターネットが消えてしまうかもしれないし、すでに消えているかもしれない。AIのゴミの拡散に対して脆弱でない、より閉じられた新しい製品やネットワークが生まれることを期待しておいて。政府の構造も変わるだろうね。マスメディアは現代国家の形成において重要な要素だったけど、安価な偽メディアが大量に出回ることで、その断片化が進むだろう。チャットGPTのアカウントを持っている普通の人が大量のデタラメを発信できるからね。多分、議論を所有しようとする人々の間で戦争が起こることも期待しておいて。
└
これを「重ねたシグモイド曲線」としてモデル化している。特定の技術的実装がシグモイドに対して指数的な影響を持つとは思っていない。ただ、十分なお金と賢い人たちを問題に投じて、初期のシグモイド曲線から十分な価値を得られれば、大量の重ねたシグモイドの効果的な影響は理論的には線形に平均化されるかもしれない。ただし、シグモイドが同じ大きさ（平均的に）で、時間とともに高い速度で現れるなら、シグモイドから成る指数関数的なものになる。正直、数学をやっていなかったので、これが完全に間違っているかもしれないけど、実際には似たような中央値の振幅を持つシグモイドがどんどん増えていくと、人間にはすごく早く感じると思う。今後2〜10年の間に何が起こるかを考えるのが本当に難しい。答えを持っている人がいたら、ぜひ教えてほしい。Cynafinからは、これは摂動された複雑な適応システムだと思っているので、OODAや実験を通じて、起こることに反応していくつもりだ。
└
なんでみんなシンギュラリティにそんなに執着してるの？人類を混乱させるのにスーパーインテリジェンスは必要ないよ。今の技術でも経済を劇的に変えるだけの進歩は十分にある。まだその採用が進んでないだけなんだ。
└
どちらでもない！ロジスティック曲線はキャパシティを持つ指数関数に過ぎないから、やっぱり指数関数なんだ！AIの能力は、使われるリソース（だいたい計算力とトレーニングデータ）に対して対数的に成長するから、指数的に成長しているとは思えない！これが「穏健な立場」に聞こえるかもしれないけど、対数的なものが何らかの形で指数的だと受け入れているのは、証拠や議論がないからだ。サム・アルトマンは、AIの能力を誇張するインセンティブが最もある人で、非常に有名な対数的成長を受け入れている。現実に見られるのは、対数に指数的に多くのリソースを投入することによる基本的な線形成長パターンだ。
'aphyrの興味深い話だね。自動化のアイロニーについてはもっと深く掘り下げる価値があると思うし、もしかしたら別の記事にした方がいいかも。みんなには、以下の業界を見てほしいな：原子力安全、商業航空、遠隔手術。これらの業界は、プログラマーとしての私たちよりもずっと前から自動化の問題に取り組んできたんだ。私が調べた限りでは、20世紀にこれらの業界も今私たちが経験しているような旅を経てきた。何かが十分に自動化されると、従来のやり方は通用しなくなる。新しいフレームワークや手順を進化させる必要があるんだ。航空のケースでは、CRMやSRMを開発した。クルーとして飛行機を管理する方法や、単独オペレーターとして管理する方法だよ。現代の飛行機は高度に自動化されていることを忘れないで！人間のパイロットは、ほとんどのフライト中は操縦桿に手を置いていないことが多いからね。外科医の場合、定期的な練習なしでスキルが落ちるのはわずか4週間で起こることが分かっている！それを防ぐために、今では一部の外科医はシミュレーション環境で練習することが求められているんだ。私の感覚では、'aphyrは短期から中期的には正しいと思う。現在の市場の力とアメリカの規制の姿勢（またはその欠如）があって、ルールが少なく、施行も少ない。私の意見では、結果は悲しいほど予測可能だけど、もう止まることはできないほどの勢いで進んでいる。もし私たちが中期を乗り越えることができれば、状況は変わるだろうね。
└
ありがとう！人間の要因についてもっと深く掘り下げたかったんだけど、CRMや社会技術システム設計については特にMLが意思決定支援に使われるときに言いたいことがたくさんある。結局、そのセクション（経済批評の部分も含めて）を省略しちゃったんだ。すでに長すぎたからね。
この投稿シリーズ、本当に感謝してる！AIに関する重要なポイントをうまくまとめてくれて、関連する記事にもリンクしてるから助かる。自分であの議論を全部追うのは疲れるから、こうやって一つの場所でまとめて読めるのはすごくありがたい。
毎日、クライアントのために製品を作るために座っているんだ。今は一人でやってるけど、前は誰かに手伝ってもらってた。最近、メンタルがあまり良くない。ClaudeやCodexがコードを素早く完成させると、AIエージェントをもっと良くするために必要な他のことを考え始めるんだ。「これも自分でできるかな？」って不安になる。プロダクトデザインやDevOpsの仕事とかね。試してみようとすると、みんなのスピードに圧倒されちゃって、尊敬されてる開発者たちの話だから余計にね。自分が「全部やるのが苦手」だから、長時間働かなきゃいけなくて、メンタルヘルスが悪化してる。昔一緒に働いてた友達や同僚が恋しいよ。2023年以前はコーディングに苦労してたけど、なんとか生活を支えて、普通の時間に働けて、やるべきことも分かってた。論理的には、コードをひたすら書かなくて済むことに幸せを感じるべきなんだけど、実際にはその代償が大きすぎて、思ってたのとは違ったな…。
└
いつでも方向修正できるし、自分に合った場所を見つけられるよ。
エールフランス447便のコックピット録音をまだ読んでない人には、ぜひ読んでほしい。すごく衝撃的な研究で、物事がどれだけ早く悪化するかが分かる。これはAIにも当てはまるリスクで、私たちはまだほとんど認識していないし、コミュニティとして規制も始めていない。 [1](https://tailstrike.com/database/01-june-2009-air-france-447/)
└
あの大惨事は完全にボニンのせいだね、ほんとにバカだ。
└
興味がある人は、ぜひ全報告書を読んでみてください: https://www.faa.gov/sites/faa.gov/files/AirFrance447_BEA.pdf
> 彼女の重要な教訓の一つは、自動化がオペレーターのスキルを低下させる傾向があることだ。最近、全く関係のない分野でこの現象の例を発見した。約1週間前、最近行き始めた場所に行くための正確な曲がり角を思い出せなくなっていることに気づいた。そこには1ヶ月の間に3〜4回運転したのに、毎回Googleマップを使っていたからだ。Googleマップがなかった頃は、3回目の運転でルートの良い空間モデルを作ることができていた。このスキルは今や衰えてしまったようだ。Googleマップなしで運転することを決めて、曲がり角をメモしても、新しいルートの記憶力は以前よりもずっと弱くなっている。幸いにも、Googleマップに依存する前に覚えたルートはまだ残っている。
└
プラトンが、読書と書き込みが私たちをどれだけ忘れっぽくさせるかについて語っている: > 「あなたは、自分の子供である書き物に対する優しい思いから、その真の効果とは真逆のことを宣言したのです。もし人々がこれを学べば、彼らの魂には忘却が根付くでしょう。彼らは、書かれたものに頼ることで記憶を行使しなくなり、内なる自分から物事を思い出すのではなく、外部の印によって思い出すようになるのです。」
> 未来には、魔女たちが開発したソフトウェアが一般的になるのを想像できます。彼女たちは複雑な召喚環境を構築し、特別な呪文を唱え（「テストは必ず実行！」）、彼女たちの代わりにソフトウェアを書くLLMデーモンを呼び出します。この手のプロンプトは、今はLLMが不完全で新しいからこそ必要です。2025年にはこれを書いていたかもしれませんが、今のLLMは「待って、明らかにこのアプローチはうまくいってないから、他の方法を試そう」と言えるようになり、コードを再実行して結果を修正しています。まだ少し不完全さは残っていますが、LLMがメタ認知タスクをどんどん上手くこなすようになると自信を持っています。アップデート: 今、仕事でコーディングエージェントを使っていて、その出力を読んでいます。こんなことを言っています: > 「ああ！ README.mdのコマンドには特定のフラグがある！ フラグなしで実行した！ 見落としてた。もう一度README.mdを確認するべきだったか、もっと覚えておくべきだった。」ユーザーはそれを見たばかりで、私に思い出させるためか、自分自身のためかもしれません。でも、まずはバックグラウンドタスクが何を報告したか見てみましょう。フラグを見落としたから失敗したのか、ユーザーがアクセスできてデフォルトが機能したから成功したのか。AIはすでにより良いメタ認知を発展させています。
答えはいつも同じ: 自己調整された職業と労働組合。代わりに、効率的なソフトウェアエンジニアたちは自分たちの墓を効率よく掘ってしまった。規制された職業はAIの影響を受けないでしょう。なぜなら、彼らのメンバーは職の安定性[0]、給与、生活の質が自分たちを自動化することよりも重要だと理解しているからです。
└
そうそう、これ本当にその通りだよね。でも、私たちはそのことを考えたことがなくて、むしろ同じ立場の他の人たちよりも賢くて、より良くて、生産的だと思ってたよね。それと、リンクを忘れてるよ？
いい記事だね。最後の方でお金の行き先や、ユニバーサルベーシックインカムについて話してる。あの段落では、モデルがすごく賢くなったらお金が大手テック企業に集中するって前提があったと思う。でも、オープンウェイトモデルに取り組んでいる企業のおかげで、もうそんなことは起こらないかもしれないと思い始めてる。今、オープンウェイトモデルはトッププレイヤーから数ヶ月遅れていると言われているし（私たちもそれを維持するためにできることを本当にやるべきだと思う）。AIが非常に強力になった場合、かつモデルが一般に利用可能になるときの予測はどうなるんだろう。考えられる可能性は二つ。まず一つ目は、雇用に使われなくなったお金がハードウェアに向かうこと。新しいハードウェアメーカーや革新者が参入して、少し雇用が生まれるかもしれないけど、最終的にはすべてが一方向に進むと思う。それは、ハードウェアに必要な材料や鉱物という唯一の有限資源だ。その材料は新しい「石油」になるかもしれない。最終的には、すべてのAIを動かすためのチップを十分に作れるようになるかもしれないけど、資源が豊富に感じるときに無駄にする能力を過小評価してはいけない。二つ目の可能性では、非常に強力なオープンウェイトLLMとともに、大きな性能向上があって、ハードウェアがボトルネックでなくなるかもしれない。でも、このシナリオを想像するのが難しい。もしかしたら、みんながより良くなるのかもしれない？それとも、ほとんどの人が社会や仲間に対して「役に立っていない」と感じて、落ち込むだけなのかもしれない？