アウトソーシング思考

114日前原文(erikjohannes.no)

概要

本記事は 大規模言語モデル（LLM） の利用が私たちの 認知能力に与える影響 について論じる内容。
Andy Masley の「The lump of cognition fallacy」ブログを起点に、LLM利用の是非を多角的に検討。
個人のコミュニケーションや体験 を機械に委ねるリスク、特に信頼や成長機会の喪失を指摘。
実用性と倫理的側面 のバランス、LLMの適切な活用範囲について深堀り。
最後に、 LLMは補助的な道具 としての利用を推奨し、安易な依存を戒める立場。

LLMによる認知アウトソーシングの功罪

大規模言語モデル（LLM） の利用が 認知スキルの低下 を招くとの懸念が存在。
「 使わなければ失う」という直感的かつ経験的な観点が、この議論の根底。
Andy Masley は「思考量は有限ではない」と主張し、 機械に思考を委ねても問題ない とする見解。
著者は、Masleyの意見を出発点としつつも、「 アウトソーシング思考」の課題をより広く検討。
LLMの利用が有害となる活動カテゴリー の特定を試みる。

Masleyの「アウトソーシングが悪い場合」リスト

将来必要となる暗黙知の構築 が求められる場合
他者への配慮や存在感の表現 となる場合
それ自体が価値ある体験 となる場合
偽装が欺瞞的 となる場合
正確性が極めて重要で、委託先を完全に信頼できない場合
著者もこのリストには大筋で同意しつつ、 該当する活動範囲の広さ に認識の違いがあると指摘。

個人コミュニケーションと執筆におけるLLMの問題点

「 偽装が欺瞞的」の例として、 デートアプリ でのやり取りを挙げるが、著者は あらゆる個人的コミュニケーション に当てはまると主張。
言葉の選び方や表現 には個人性や信頼が宿り、 機械による変換は期待を裏切る行為。
人間同士の直接的なやり取り は、情報交換だけでなく 関係性の構築 にも関与。
AI共著の文章 が増える現状では、 AI利用の明示 が受け手の信頼形成に不可欠。
意味と表現は切り離せず、AIに表現を任せると 自己成長や独自性を損なう 恐れ。
- スペルや文法の補助 と、 AIが実質的に文章を生成 する境界は非常に曖昧。
- 現行のチャットボット設計 では、この問題の解決が困難。
実用主義的な立場 では、効率化や第二言語での表現補助などLLMの利点も認められる。
しかし、 文章力や思考力向上には自分で書くことが不可欠。
就職応募やパブリックディベート でも、 自分自身の言葉で表現する重要性 を強調。
機能的テキスト（コード・レシピ・案内等） は個人性の影響が少なく、LLM利用のリスクも低い。
個人性が問われるテキスト では、 信頼の侵食が人類全体の損失 となり得る。

LLM利用による「価値ある体験」の喪失

LLM利用は単なる執筆支援に留まらず、様々な体験の外部委託を促進。
旅行計画・パーティー企画・個人的メッセージ作成 など、 本来人間が楽しむべき体験 まで機械に委ねる風潮。
現代社会の「全てを作業化」する傾向 と、 不満の生産性 に警鐘。
本来価値ある体験やプロセス の軽視が、 人間性の喪失 につながる危険性。

LLMの適切な利用範囲と今後の指針

LLMは短期的には有用 だが、 根本的な課題解決にはならない。
本当に必要な場合のみ利用 し、 安易な依存を避ける慎重な姿勢 が重要。
AI活用の透明性 や 利用目的の明確化 が、今後の社会的信頼構築の鍵。

結論

LLMは強力なツール だが、 人間の成長や信頼構築を妨げるリスク も内包。
個人性や経験の価値 を守るため、 利用場面の選別 と 利用意図の自覚 が不可欠。
AIとの共存社会 では、 人間らしさ をどう守るかが今後の大きな課題。

Hackerたちの意見

AIを使わない方がいいことリスト、なんか面白いよね。今、The Atlanticに「映画を観ることができなくなった映画学生たち」っていう記事が載ってるけど、なんでだろう？彼らはソーシャルメディアやYouTube、Netflixとかをちゃんと使ってるんじゃないの？リスクも分かってるだろうし、AIに対しても同じように責任を持つと思うけど、経済的や職業的なプレッシャーがあってもね。

└

車に乗るために馬を手放すと、何かを失ってる気がする。みんな、移動手段として馬を育てる能力を外注しすぎてるんじゃない？一日中歩くことだってできるでしょ？

└

映画学生の逸話からの教訓って何だろう？私には、映画を学ぶことのアイデアが好きなだけで、実際に映画を学ぶのは好きじゃないってことに見える。ソーシャルメディアやAIとの関連が見えないな。

└

もしかしたら、その映画は観る価値がなかったのかも？

└

最近、サイドディスカッションがあったんだけど、西洋の人たちがアジア文化で今でも使われている発酵食品や漬物を「再発見」してるみたい。発酵は食べ物を保存するのに素晴らしい方法だけど、成功するかどうかは運次第なところもある。漬物は、正しくやらないと危険で、ボツリヌス菌のリスクが常にあるからね。食品の缶詰が登場したときは大きな変化だった。多くの食品が数ヶ月から数年持つようになったから、発酵や漬物はほとんど西洋では使われなくなったね。

└

きっとみんなAIに対しても同じように責任を持つだろうそれがまさに心配なんだよね。

└

きっとリスクを理解しているし、きっとみんなAIに対しても同じように責任を持つだろう学生の半分も、ソーシャルメディアやAIを集中的に使うことの短期的・長期的なリスクを理解できるとは思えない。少なくとも、私が学生だった頃は理解できなかったな。

└

映画を最後まで見られなくなった映画学生たちみんな映画を見るのが大好きだけど、100本の映画と大量の読書リスト、エッセイ、試験が待ってるカリキュラムを受けると、そうもいかなくなるよね。

「認知の塊」という考え方には大事なことが抜けてる。どれだけ考えるかじゃなくて、どの考えをやめるかが問題なんだ。判断力や所有感、直感は、退屈な作業や繰り返しの仕事から生まれることが多いし、それを外注するのはタダじゃない。言葉を生産するコストを下げることは、実際の思考を増やすこととは全然違うよね。

└

問題を解決することを強いられたり、正しい言葉を生み出すために奮闘したりした時間を過ごせたことに感謝してる。振り返ると、そこでこそ全ての学びがあったんだなって思う。若い頃にショートカットマシンがあったら、ずっと使ってたし、学ぶことも少なくなって、依存するようになってたと思う。

└

この低コストで生み出される言葉を見て、ほとんどの人にとってどれだけ満足できるものなのかを観察するのは、かなり勉強になるし、ちょっと落ち込むよね（そして、人々が「安っぽい」言葉を見つけようとする際のシンプルなヒューリスティックも）。

└

良いワークフローは、まずLLMを使ってタイプミスや文法の問題を修正することだと思う。そこから、初稿からフィードバックに進むことができる。

実は、これに関して数日前にいろいろ考えを書いたんだけど、私の見解はもっと悲観的だよ：https://www.neilwithdata.com/outsourced-thinking 私の基本的な主張は、今の平均的な人がAIを使ってるのは「思考のサービス」としてで、これが長期的に見て壊滅的な結果をもたらすと思う。自分で考えない世代を育てることになるからね。

└

私たちは、LLMが登場するずっと前にそのポイントを超えてしまったと思う。人類の歴史の中で、多くの人が自分の思考を外注することに満足していて、そのためにお金を払っていた気がする。昔はそれを宗教って呼んでたんだよね。

└

確かに、LLMが普及する前の時代には壊滅的な結果をもたらすかもしれないね。今後の利点か欠点かはあまり明らかじゃないけど。車が人を太らせて怠けさせて健康に悪影響を与えるっていうのを観察するのと似てる。実際にそうなったけど、車が富やライフスタイル、医療へのアクセスを向上させるから、全体的にはプラスの影響があったと思う。運動が減ってもね。10年後、20年後に人間が物事を考えることが有利になるかは不明だよ。もしかしたら、有利かもしれないし、そうじゃないかもしれない。50年後には、人間が重要な決定をLLMの意見を無視して行ったら、みんな怒るだろうね。人々が愚かな政治的選択をする理由を、統計や理論文献を読み込んで、根気よく共感的に説明できるスケーラブルなスーパーインテリジェンスを構築しているのが楽しみだよ。あのテーマについて自分で考えることなんてどうでもいい、一般の人は何も知らないから。

└

まさにその通りだと思う。実践を通じて何年も学ばなければ、AIの出力を判断したり編集したりできる人は誰だろう？実際に経験を積んだ知識労働者が労働市場から退いていく中で、誰が私たちの代わりになるんだろう？AIと電卓のようなツールの大きな違いは、電卓の出力が正確で決定論的、証明可能に真実であることだと思う。電卓が間違った結果を出すか、劣った結果を出すか心配することはあまりないよね。客観的な事実を提供してくれるから。一方で、LLMの出力は主観的に良いか悪いかと考えられることがある。たとえそれが正確でもね。だから、建築学生に家の設計図を描かせるとき、20%の確率で間違った値を出す電卓を使わせたり、静かにカウンタートップの高さについて意見を持たせたりすることを想像してみて。構造的に不安定なプランができるだけじゃなくて、学生が何も役に立つことを学ばなかったってことになるよ。

└

まだちょっと迷ってるけど、君の主張が70年代・80年代の電卓に対する反論と全く同じだってことは指摘しておくよ。90年代のコンピュータやインターネットについてもね。

└

手遅れだね。外注はすでにこれを達成してしまった。誰も自分のためにクールなものを作ってない。みんながウォール街の成長を確保するために人質にされてる。政治的に「指を交差させて最善を願う」立場にいるのは、完全に労働者の捕獲によるものだ。アメリカは小規模ビジネスの社会ネットワークトポロジーから恩恵を受けていた。どのビジネスも全てを崩壊させるような重要な存在ではなかった。今は、経済が「大きすぎて潰せない」企業の数少ないものになって、人間のノード間のリンクを侵食して、私たちの主体性を奪ってる。次世代が本物のエンジニアリングスキルを学べるように、電子機器製造を海外に出すのに反対するためにできる限りのことを主張したけど、当時の20代の私はその決定が政治の上層部でなされたことを全く理解してなかった。私が働いていたテレコムに特化したネットワークハードウェアメーカーが閉鎖される前に、多くの人の後任を育成してしまった。アメリカの技術者は今や主にクラウドの設定者で、それも自動化されつつある。これは、年齢を重ねたリーダーシップによる数十年にわたる戦略で、アメリカ人が唯一の選択肢は降伏することだと感じさせるためのものだ。何をするつもりなの、製造業を始めるの？アメリカ人はバレーボールの魚みたいだよ。そして、かなりのコネを持った人たちが同じような問題を指摘している: https://www.barchart.com/story/news/36862423/weve-done-our-c...

└

アイザック・アシモフの話に、脳に知識をプログラムして「教育」される人たちが出てくるんだ。マトリックスみたいにね。あるグループの人たちは脳に何か問題があって、「教育」されることができず、勉強しないと学べないんだ。物語の主人公もその一人で、自分の障害に恥ずかしさを感じてるし、周りの人たちが簡単に知っていることを自分が苦労して学ばなきゃいけないのが辛いんだ。彼は（ネタバレ）実は「創造的な問題解決者」の「神職」に選ばれていたことを知るんだ。教育プロセスでは知識は得られるけど、それを創造的に応用する能力は身につかないからね。人々はあるプロセスについて迅速かつ簡単に訓練されるけど、理由を考える能力は育たないんだ。

└

お釣りを渡すことに例えるのはいいと思う。特に、LLMのハイプを語る人たちが「ポケットの中の計算機」って話をよく使うからね。あなたが言った状況に私もまったく同じように遭遇したことがあるし、LLMが出るずっと前から、レジの人たちは計算機を使ってたよ。もう一つ例を挙げると、チップを渡すときに「最寄りのドルに丸めて、10%を計算して、2倍する」って言ってるんだけど（だいたい18%くらいになる）、いつも「それは複雑すぎる」って言われるんだ。これは3ステップのプロセスで、一番難しいのは数字を2倍にすること（しかもだいたい2桁の数字だし）。この反応が「複雑すぎる」っていうのが不思議で、すぐに考えずにチップの額を決めるためのいい方法（ダジャレ）なのにね。もしその3つのステップのどれかが難しいと感じるなら、あなたの数学スキルは小学生以下だと思う。数学やコーディングの見方にも問題があると思う。「抽象化は悪い」ってよく聞くけど、結局それがコーディング（や数学）の本質なんだよね。抽象化する能力こそが人間を人間たらしめるんだ。すべての生き物は抽象化するけど、人間はそれに特有の能力を持っている。抽象化は確かに難しいけど、人生で価値のあることが簡単だったことなんてあった？残念ながら、私たちは怠惰を正当化するためにかなりの努力をするけど、怠惰でないためにはあまり努力しないと思う。私の懸念は、難しいからこそ価値のあることをやらなくなること。これは毎日人々がやっていることだよね。多くの人が自分の考えを外注するのが好きなんだ。計算機やGoogle、「アルゴリズム」、お気に入りの政治評論家、宗教、その他何でも。責任を放棄するためなら何でも。努力を放棄するためなら何でも。だから、あなたが言うように、AIは計算機と同じようなものになると思う。人々がたくさんのことを助けるための素晴らしいツールになるけど、考えることを外注するために使われることが多くなると思う。特に知的だとされる人たちでもね。スキルは衰えていく。単純なことだよ。

└

コードを書いたことがないのに、コードベースの問題を監査したりレビューしたりできるの？実際のシステムに関する知識があれば、ほとんどの場合はうまくいくよ。LLMは感情を持ってないし、良い結果を出すためには運転される必要があるんだ。

ここで面白いのは、どれだけ認知を外注するかじゃなくて、その外注がどれだけ戻せるかってことだよね。LLMをメモ帳みたいに使うのは（賢い電卓や検索エンジンみたいなもん）と、何年もかけて静かに自分の文章や決断、趣味を形成させるのとは全然違う。そこが暗黙の知識やアイデンティティが存在する層で、習慣がついちゃうと戻すのが難しいんだよね。ウェブ検索やGPSでのソフトなバージョンを見たことあるけど、みんなが地図を読むのを急に忘れたわけじゃない。でも学校や組織がそれを教えなくなって、今や青い点なしでルートを計画する人はほとんどいない。文章や判断についても同じことが起こると思う。危険なのは、誰も考えなくなることじゃなくて、考え方を思い出せる人が減ることだと思う。

└

確かに、LLM（大規模言語モデル）に関しては、あなたの例とは違う感じがするよね。人々がAppleやGoogleの地図なしでは移動できないのは確かだけど、それは批判的思考能力を失うのとは全然違う話だよね。とはいえ、LLMがその傾向を加速させているのは否めないけど、唯一の原因ではないと思う（読書不足とか、短いコンテンツが増えてるとか）。

└

一度習慣がつくと戻るのが難しい。人間は非常に適応力があるからね。慣れ親しんだものがまだ存在している間は戻るのが難しいけど、もしそれが世界から消えたら、数週間で適応できると思うよ。

私が心配しているのは（これは普通のインターネット検索について、ここ10年くらいずっと気になっていることなんだけど）、この技術に依存する世代を育てた後に、トレーニングデータに何かを挿入して、特定のアジェンダを優遇するようにバイアスをかけることが始まるんじゃないかってこと。

└

その通り。インターネットのほとんどのことと同じように、劣化していくと思う。いつかはチャットボットが特定の製品やサービスを優遇する形で「広告」を出すようになる可能性が高いと思うよ。

└

この技術に頼る世代を育てた後、以前の特定のアジェンダを優遇するようにバイアスがかかることがある。印刷メディアでもそうだったし、電波でもそうだった。LLMでもその流れが続くのは理にかなってるよね。基本的な問題は、情報の出所が他の誰かのコントロール下にあることで、その誰かは常にアジェンダを持ってるってこと。でもLLMでは、その流れを変えようとすることが重要だと思う。個人が自分のコンピュータを所有できるようにするべきだし、LLMの機能やハードウェア、モデルも含めてね。そういう能力がなければ、新しい技術で過去に起こったことと同じことが起こるだけだよ。

└

もうそうなってるよね。人々は資本主義に慣れちゃってて、少数の人が所有階級に生まれ、大多数が労働者になってる。

└

2003年の終わり頃はこれについてすごく心配してた。OpenAIのGPT-4が（3月から）他のモデルよりも明らかに優れてたから。一時期は、一つの組織が最も有用なモデルを独占することになりそうで、LLMが人間社会をどう形作るかに対して大きな影響力を持つことになるんじゃないかと思った。でも今は競争が激しいから、もう心配してない。今では、アメリカ、フランス（Mistral）、中国からも最前線のモデルが出てるし、「最良」のモデルも固定的じゃなくなった。数年前よりも、モデルの独占が文化的な力を集中させるリスクはずっと低くなった気がする。

└

情報をユーザーの問い合わせに対して提示する際に、特定のアジェンダを優先するようにバイアスをかけること。Grokがすでにそんな不器用な方法でやってるってこと？

GoogleがGmailでLLMを試してから、すごく気になってる。言葉やその組み合わせ方は、その人を表すものだと思うから、直接のコミュニケーションにLLMを使うのは人間関係に悪影響だよね。

└

このコメントのおかげで、GmailのLLMに感謝してる。もし誰かが僕の言葉を過剰に分析して、僕を表してるって思ってるなら、その人との間にちょっとした距離があった方がいいな。

└

そういうこともあるし、そうじゃないこともある。友達に厄介な上司がいたんだけど、ChatGPTのおかげで、彼との関係をなんとか修復できたんだ。彼とは一緒に働くのが嫌だったけどね。結局、別の仕事に移ったけど、ストレスはかなり減った。つまり、人間のつながりが誠意を持っているなら、君に同意するよ。もしそうじゃなければ、LLMは時々役に立つ。

└

https://en.wikipedia.org/wiki/NPC_(meme)

個人的なコミュニケーションや公共のコミュニケーションにおける生成支援の面倒な点は、怠惰な逃げ道を作ることだよね。「ああ、でもそれは本当に言いたかったことじゃない」とか「そんな言い方はしない」とか言えるようになって、後で自分の立場を変えたり修正したりする道具になっちゃう。結局、誠実さが減るだけなんだよね。

└

「ああ、でもそれは本当に言いたかったことじゃない」と言えるようになるって、今でも起こってるよね。彼らは自動修正やスペルチェックのせいにするけど、僕はそれを言い訳として受け入れないな（たとえ本当にそうでも）。テキストの出所に関係なく、考えを変えるための正当な理由にはならないよ。

└

一生のうちで、それを正当な言い訳として受け入れることは絶対にない。メールを送ったり、コードをコミットしたりしたら、それに対して責任を持つべきだよ。その他はただの情けない言い訳だね。

これ、僕も気づいたことなんだ。AIにプロジェクトの一部を任せたら、自分のプロジェクトを理解してないことに気づいたよ :)

└

でも、技術的にはそれが正しいことなんだ。人間が介入する必要はもうないし、自分のコードを理解する必要も、何を変更すればいいかも知らなくていい。心配すべきは、LLMができるだけ効率的に動くための最良のハーネスを持つことだけ。もし詰まったら、別のLLMをデバッガーとして使えばいい。もしそれも詰まったら、また別のLLMを使う。ずっと続く亀のように。/s

「可逆性」のフレーミングがすごく好き。私にとっての違いは、ツールがステップを踏んでいるか（「文法をチェックして」や「これらのノートを要約して」） vs 私がただ承認する間に静かに全体のループを回しているか（生成→決定→行動）。ほとんどが承認作業になってしまうと、微妙に間違っていることに気づくために必要な内部モデルを構築するのをやめてしまう。そして、回復が難しい味や判断のレイヤーを練習するのもやめてしまう。これはモデルの問題だけじゃなくて、UIやデザインの問題でもあると思う。ドラフトから始めて差分を提示するツールは、ユーザーをループに保つけど、真っ白なページから始めるツールは「受け入れ」を訓練するだけで、考えることを訓練しない。

この内容、すごく良かったし、心配も分かるけど、「思考のアウトソーシング」っていう表現はちょっと違う気がする。自分の仕事を通じて気づいたのは、実際の失敗はAIを使うことじゃなくて、間違った部分を自動化することだった。AIに要約や反省を生成させると、タスクの価値を失っちゃうんだよね。思考が消えたわけじゃなくて、意味を作るプロセスが消えちゃう。私が助けられた区別はこういうこと。 - タスクの価値が思考（反省、統合、判断）をすることから来るなら、AIを協力者としてデザインして、質問を投げかけたり、促したり、反論させたりする。 - タスクが実行や記憶のことなら、思い切って自動化する。だから問題は思考をアウトソーシングすることじゃなくて、実際に大事な認知ループをスルーしちゃうことなんだよね。デザインの選択肢は、AIがそのループを置き換えるのか、それとも表に出す手助けをするのかってこと。もしよかったら、ここにもっと詳しく書いたから見てみてね: https://jonmagic.com/posts/designing-collaborations-not-just...

ハクソク