世界を動かす技術を、日本語で。

すべての未来は嘘だと思う:新しい仕事

概要

本記事は、ML(機械学習)とLLM(大規模言語モデル)の普及により登場する新たな仕事について解説。 人間とMLシステムの境界で必要となる職種や役割を具体的に紹介。 プロンプト専門家、品質管理、統計解析、モデル訓練、説明責任、行動解析など多岐にわたる業務を整理。 MLの普及に伴う社会的・倫理的課題にも言及。 今後の職業構造や社会的責任の変化について考察。

ML時代の新しい仕事

  • ML(機械学習)とLLM(大規模言語モデル) の普及による新たな職種の台頭
  • 人間とMLシステムの境界領域 で発生する多様な業務
  • プロンプト専門家(Incanters) によるモデルへの最適入力設計
  • プロセスエンジニア による品質管理とエラー検出体制の構築
  • 統計エンジニア によるML出力のばらつき・偏りの測定と制御
  • モデルトレーナー による高品質な訓練データの作成とチェック
  • 説明責任を担う“Meat Shields” としての人材配置
  • ハルスピス(Haruspices) によるモデル行動の分析と説明

プロンプト専門家(Incanters)

  • LLMは入力方法によって性能が大きく変化 する特性
  • 脅しや虚偽の報酬提示 など、独特なプロンプトテクニックの存在
  • 文脈長やトークンの影響 を考慮した入力設計の重要性
  • Claudeなど特定LLMへの最適な“話しかけ方” を極める専門家の出現
  • 従来のプログラマーから、LLM操作専門家への転換 の兆し

プロセスエンジニア

  • LLM出力の予測不可能性 に対応する品質管理の必要性
  • 意図的なエラー挿入と編集工程によるチェック体制 の導入例
  • LexisNexis等との連携やワークフローシステムの統合 による効率化
  • 人材教育・レビュー強化・自動化支援の調整 を担う役割
  • 手作業と自動化のバランス評価 による最適プロセス設計

統計エンジニア

  • LLMの出力結果のばらつき・偏り の測定と制御
  • 選択肢の順序など、細かな要因による結果の違い を分析
  • 心理測定学(Psychometrics)に類似したアプローチ の適用
  • 言語やドメインごとのパフォーマンス差 への対応
  • 複雑で専門的な統計モデル構築 の必要性

モデルトレーナー

  • 高品質な訓練データの確保 が困難化する現状
  • 偽情報や誤情報の混入リスク への対策
  • 2023年以前の信頼できる資料 の利用提案
  • 専門家による訓練データ作成・評価・ベンチマーク策定 の重要性
  • 大規模な人材動員による“人間知識の収穫” 現象
  • 労働環境の悪化や低賃金、労働組合不在 の課題

説明責任を担う“Meat Shields”

  • 経営層や管理職がLLM導入による責任回避のために人間を配置 する実態
  • 法的・社会的責任を負う“生身の人間” の必要性
  • LLM利用時の失敗や問題発生時の責任転嫁構造
  • 外部委託や下請けの“スケープゴート化” のリスク
  • “モラルクランプルゾーン”としての人間の役割 (Madeline Clare Elishの概念)

ハルスピス(Haruspices)

  • モデルの誤作動や不適切な判断の原因究明 を担う専門家
  • 入力・出力・内部状態の分析による行動説明
  • 個別事例の深掘り調査と統計的な全体分析 の両立
  • ML企業、ユーザー、ジャーナリスト、法廷、監督機関など多様な立場での活躍
  • 社会的説明責任や透明性の確保 への貢献

ML社会における職業構造と責任の変化

  • ML・LLMの浸透により、既存の職業構造が大きく変化
  • 人間の専門性や責任が、機械と密接に補完し合う新時代
  • 社会的・倫理的課題(説明責任、労働環境、情報の信頼性) の顕在化
  • 今後も新たな職種や役割が次々に誕生する可能性
  • 技術進化と社会制度の連携による持続可能なML活用社会の構築

Hackerたちの意見

https://archive.is/OjGox

広告もサブスクリプションもない静的サイトにアーカイブリンクを投稿する意味って何?

「UKオンラインセーフティ法のため利用不可」って、VPNなしだとどうしてこうなるの?理由知ってる?

aphyrのサイトにはNSFWの写真があるかもしれないから、新しいUKの法律に引っかかってドメインがブロックされたのかも。

UKをジオブロックすることで年齢確認ができるけど、そうじゃないとサイトの運営者は自分のコンテンツがUKで成人向けと見なされるかどうかを確認しなきゃいけないし、何か対策を講じる必要があるよね。

これは分類法の面白い試みだと思うけど、ちょっと魔法的な思考に偏ってるかな(自分も「インカンター役」をやることが多いから言うけど)。著者の以前の魔女的な美学(彼の素晴らしい「技術面接を行う」シリーズを見てみて)と進歩的な労働政治が組み合わさってる。今の自動化の流れの中で、これはほぼ運命づけられてると思う。想像力の最大の失敗は、ほとんど(あるいは*どんな)仕事に人間を使うと思い込んでることだと思う。例えば、ハルスペクスの仕事は、内部状態の無数を処理できるLLMに任せた方がいいよね(これは機械的解釈の分野)。

そして、ハルスペクスLLMが失敗した時、私たちは何に頼るの?

うん、同じ印象を持ったよ。著者の視点には共感するけど、ここで見せている最小限の楽観主義を持つことすらできない。説明されている「プロセスエンジニア」はすぐに自動化システムに置き換わると思う。「統計エンジニア」は、AIモデルの変化の速さについていけないだろうし、各言語や文脈ごとに異なる統計的な振る舞いやバイアスがあるから、そもそもその深い専門知識を持つために誰も彼らにお金を払うことはないと思う。もっと可能性が高いのは、その仕事がAI基盤モデルの会社で行われることで、でもそれは一度だけ行われて、トレーニングプロセスに組み込まれるんだ。

そして、進歩的な労働政治(現在の自動化の流れでは漸近的に運命づけられている)。これって具体的にどういう意味?

マジック8ボールは、君が投げかける質問の「無数の内部状態」を処理できるんだ。でも、答えをくれるのに、私たちはそれを使わないよね。

個人的には、MLは「普通の技術」になると思ってるけど、すごく変革的だとも思う。「インカンター」と「プロセスエンジニア」を一つにまとめて「ユーザー」って呼べるんじゃないかな。責任が求められる役割を含む仕事は、指示を出したり、文脈を提供したり、エージェントの出力を確認したりすることになると思う。これは、何百万もの労働者が基本的なコンピュータスキルやMicrosoft Officeを知っているのと似てる。自分の意見では、LLM時代に仕事がどれだけ危険かは、次の2点にかかってると思う:1: パフォーマンスを向上させるためのRLループを構築するのがどれだけ簡単か? 2: そのタスクを実行するためのLLMハーネスを構築するのがどれだけ簡単か? 3: その仕事が構造化されたタスクのセットなのか、責任を取ることなのか? ミスの結果は? 人間関係はどれだけ影響する? だからこそ、自分はソフトウェアエンジニアリング(でもコーディングではない)に対して楽観的なんだ。1)と2)は、作り込まれたコーディングタスクやサンドボックスで簡単に設定できるけど、3)はその役割の残りを広げて支配することになる。モデルトレーナーについては、RLHFがプロの専門家を仕事から追い出すとはあまり思ってない。いくつか理由があるけど、まずほとんどの人間データ会社は、契約プラットフォームで出力を評価する人がいるため、定義上、少し作り込まれたデータを生成してる。そして、世界中で収集できるデータにはほぼ無限の制約がある。次に、前にも言ったけど、ボトルネックは責任と、モデルがエラーなしで新しい文脈を見つける能力の両方にある。

ある意味、技術は「普通じゃない」よね。デジタル化の技術革命を考えると、その経済への影響をうまく説明するのは難しい。初期の頃は、銀行が億ドルのビジネスから百万ドルのビジネスに変わると言われてたし、大学もほとんどの管理業務を排除できるはずだった。会計や財務も簡単になるってね。以前の技術革命も予測不可能だったけど、振り返ると納得できる部分もあった。でも、今の経済の核心的な活動が何かははっきりしない。ミクロレベルでは明確だけど、ズームアウトするとぼやけてくる。なぜアカウンタビリティが必要なのか?その文脈では明らかに必要だけど、どうやってそれが集約されるのか理解するのは難しい。

だからこそ、私はソフトウェアエンジニアリングにはかなり楽観的なんだ(でもコーディングにはあまり興味がない)。1) と 2) は、作り上げたコーディングタスクやサンドボックスで簡単に設定できるけど、3) はそれを広げて役割全体を支配するんだ。どうしてLLMやエージェントが、実際のソフトウェアエンジニアよりもこのソフトウェアエンジニアリングの仕事をうまく進められないの?このことについて満足のいく答えを聞いたことがない。特に、ミスをする部分について。LLMの欠点(つまり、ひどいコードを生成すること)を擁護する理由は「人間も悪いコードを書くから」っていうのが多いけど、それってどうなの?人間もミスをするし、理論的にはLLMのソフトウェアエンジニアは人間よりもずっと少ないミスをするはず。だから、どうして君を巻き込む必要があるの?今の流れにワクワクしているソフトウェアエンジニアの考え方が理解できないんだ。理論的には、君の専門知識に特別なものはなくて、LLMが達成できないことはないと思う。新しくてエキサイティングな技術に夢中になっていると、責任者たちが私たちを完全に埋め尽くすことに喜んでいることに気づかないんだよね。

「インカンター」と「プロセスエンジニア」を一つにまとめて「ユーザー」にできると思う。これについてもっと話したかったけど、どう表現すればいいかわからなかったから、かなり削ったんだ。「インカンター」っていうのは、直感的でより非公式な実践者の知識やメティスを指していて、「統計的/プロセスエンジニア」と対比させているんだ。多くの人がこの二つを融合させると思うけど、私はここでいくつかの重要なポイントを示したいんだ。ユーザーは、個々の直感、民間伝承、正式・非公式なテキスト、科学論文、厳密に設計されたハーネスや社内実験など、さまざまなアプローチを統合している。農業のように、地元の気候や土地品種についての深い直感的な知識があるけど、大規模な産業実践や研究プロットもあって、それらの異なるアプローチが複雑に相互作用しているんだ。

YouTubeで見かける音声だけの雰囲気コーダーに魔法使いの帽子とローブを着せたら、まさに「インカンター」だよね。面白い。

エンジニアとして、この仕事にこれほどワクワクすることはないよ。実装のスピードやバグ修正がボトルネックだったけど、今は実装を考えるだけでそれが形になる。構造や入力、出力、テストのしやすさ、ロジックの流れを正しく考えて、必要な情報を全部含めておけば、ちゃんと動くんだ。Unixの哲学はLLMとも相性がいいね。一つのことをしっかりやるソフトウェアがあれば、それがその文脈に合って、無秩序な動作を引き起こさない。今は、集中したエンジニアリング思考を提供することに日々がほぼ集中してる。これがエンジニアの職業の純粋な部分だと思うし、すごく好きだよ。

だいたい同意だね。ただ、自分のソフトウェアを作りながら使うことで、抽象的な感覚を得るのがちょっと恋しいかな。テストのしやすさは「使いやすい」の良い指標だと思う。なぜなら、「使いやすい」というのはサブシステムが十分にデカップリングされていて、予期しない使用パターンをカバーできることを意味するから。それがテストのしやすさの副産物なんだよね。心配なのは、能力を示すのが難しくなってきてること。例えば、Githubのプロフィールは良いシグナルだったけど、評価できるエンジニア以外は誰も気にしなかった。今はそのシグナルがさらに価値がなくなってる。リードミーやブログの投稿も、今は自分のコミュニケーションスキルや問題への考え方を示すものとしてはあまり役立たなくなってきてる。

実装のスピードやバグ修正がボトルネックだった あの頃を懐かしく思い出すし、戻りたいなってよく思う。最近は、意味のあるコードを書くのに数日かかることも珍しくない。シニアになるコストってやつかな。

エンジニアとして、この仕事にこれほどワクワクすることはないよ。AIのトレンドが、君の仕事の中でまだワクワクする部分をほとんど自動化するまで、どれくらいかかると思う?みんな、自分には関係ないと思ってるけど、影響を受けるのは他の人だって。私たちは自分のやってることが特別で、AIに自動化されることはないって思い込んでるし、今のところは自分の仕事が安全だって信じてるんだよね。

ワクワクするけど同時に怖い。確かに前よりずっと生産的になったし、エンジニアを完全に排除することはできないと思ってる…でも、5人のチームが1人のエンジニアに置き換わるのはどれくらい先かな?自分が仕事を続けられるのか、それとも4人のうちの1人になるのか、ドキドキだよ。

AIの問題は、これまでの技術とは全く違うってことだよね。ギャップを埋めるための一時的な仕事はあるかもしれないけど、それはキャリアにはならない。AIがプロセスエンジニアリングや自己最適化を行うことになる。プロンプトの魔法みたいなものはいい例で、今は全く必要ないし、実際にはパフォーマンスを向上させるわけでもない。それでも、モデルを指示したり操ったりするのがどんどん簡単になっていく。私たちは文字通り、自分たちを置き換える知能を作ろうとしている。

私たち?

「ミートシールド」についての部分、すごく好きだった。LLMは責任を持たせることができない。誰かが意思決定に関与しなければならないし、その決定が悪い場合には実際の利害関係が必要だよね。

名前もすごく印象に残るよね。今では人を責めるときに「ミートシールド」って呼ばないなんて考えられない。

それは論理的に考えてもそうだよね。結局、道具を使う人が責任を持つわけだから。道具が強すぎるとか倫理的に使うべきかどうかは、別の話だと思う。極端に言えば、核兵器も誰かが発射したり投下したりしないといけないからね。(安全性や倫理については常に議論すべきだけど!)

Data & Societyが2019年にこの役割についての論文を出したけど、「道徳的クランプルゾーン」っていう言葉を使ってた。自動運転車の事故で誰に責任を負わせるかに焦点を当ててたからね。「ミートシールド」って言葉には物理的な感じがあっていいけど。

Waystar Roycoの次のCEOが「痛みのスポンジ」って表現されたのを思い出す。

すべて可能性はあるけど、あまり変革的ではないね。自動車によって生まれた新しい仕事が、自動車のメンテナンスやタイヤショップなどを含むことを想像するようなもの。旅行看護師、モーテルの経営者、軍用タンク、ドアダッシュ、郊外の生活、NASCARでのビール販売、これらはすべて車(そしてその大きな兄弟であるトラック)によって可能になった。でも、「AI」によって生まれた仕事や産業は、まだ「AI」そのものではないものが欠けているんだ。

AIがCEOやC-suiteの人たちを置き換えることはないっていうのは、明らかだと思う。彼らは自分たちが会社そのものだと思ってるから。他の人たちはリソースに過ぎない。AIはリソースを置き換えるために存在してるんだよね。新しい芝刈り機に投資するのと同じ感覚。彼らにとって、役員をAIに置き換えるのは、ほうきを嫁にするって言ってるようなもんだ。

彼らはただ最後に置き換えられる薄い層に過ぎない。自分たちが会社だと思い込んでるちょっと傲慢な連中だけど、結局のところ、最終的には全ての人間が自動化された経済に比べて経済的に無意味になるってことだね。

もっとありそうな理由は、法律的に誰かがビジネスを管理しないといけないってことだと思う。

アメリカでは、ほとんどの州がすべての企業に社長、秘書、財務担当者を置くことを求めてるよ。

ほとんどの会社には、上層部が全く知らないようなビジネスの背景がいくつもあるよね。「未払いの請求書はこう処理する」とか、「ウェブサイトには年に一度更新が必要な証明書がある」とか、「インドネシアでは収益を隔週で報告しなきゃいけなくて、フォームがうまくいくまで何度もやり直さないといけない」とかさ。これって、結局LLM(大規模言語モデル)では根本的に無理だと思う。上層部が何を聞けばいいか分からないし、たとえ分かっても、どんなにAIが手伝っても、全てを一人の頭の中に入れておくのは無理だから。だから、これだけでもかなりの数の仕事が置き換えられないって思う。

彼らは自分たちが会社だと思ってる。その他の人はリソースに過ぎない。こういうことがどう動いているのか全く知らないけど、取締役会も同じように考えるのかな?今日もこんなことが起こるのが見える気がする:CEOがXと言う。取締役がその場でChatGPTに戦略的な情報を入力して、XよりもYの方が説得力を持って主張する。そうなった瞬間、CEOはチャットボットに反論していることになる。チャットボットは「変革的」なんて言葉を言うより早く、もっと信じられるようなことを言い返してくるかもしれない。今日の議論では勝つかもしれないけど、結局CEOは機能的に置き換えられて、最終的には実際に置き換えられたり、弱体化したりすることになるんじゃないかな。

これらの役割は、単にメールを送ったりグラフを見たりするだけじゃなくて、法制度や世間の目に対して「温かい体」を差し出すことでもあると思う。「How I Met Your Mother」のネタバレだけど… そういう仕事をしているキャラクターがいるんだ。放送から約10年経った今、この面白いクリップはほんの少しの調整だけで通用しそうだね。 https://www.youtube.com/watch?v=8u62HptZ6TE