世界を動かす技術を、日本語で。

スロッピーパスタをやめよう

概要

  • AIの生出力 をそのまま共有することのリスクと弊害
  • 執筆と読解の努力の非対称性 が拡大する現状
  • 信頼性の喪失 と検証コストの増大
  • 学習機会や信頼の悪循環 の発生
  • 人間らしい執筆の重要性 とAI活用時の倫理

AI生出力共有の弊害

  • AIの生出力 をそのまま共有する行為は、 ジャンクフード のような安易さと短期的な満足感
  • 受信者との 信頼関係悪化 や、自身の理解力低下を招くリスク
  • 執筆の労力読解の労力 のバランスが、LLM(大規模言語モデル)の普及で崩壊
  • LLM利用により テキスト生成コストは激減 する一方、読者の負担は変わらず
  • LLM特有の 冗長さ が読者側の負担をさらに増大
  • チャットスレッド等で生出力を貼り付ける行為 は、会話を圧迫し議論の妨げとなる「フィリバスター」化
  • 執筆は思考 であり、書くことで自分の考えを深め、記憶や理解を強化
  • LLMにタスクを委ねることで 認知的負債 が生じ、理解力や記憶力の低下に繋がるという研究結果

信頼性と検証コストの問題

  • LLM以前は 著者の専門性や視点 が文章から読み取れ、読者は信頼性を判断可能
  • LLMは「 最も確からしい次の単語」を生成する仕組みであり、 幻覚(ハルシネーション) や事実誤認のリスク
  • モダンなLLMは 情報検索ツール を活用するが、完全な誤情報防止には至らず
  • 検証作業の有無が不透明 なため、受信者は全てを「未検証」とみなす必要
  • LLMの 権威的な口調 が読者の判断をさらに難しくし、専門性の有無が見えにくくなる
  • 信頼の連鎖 が曖昧化し、誤情報発生時の責任所在も不明瞭
  • Trust but verify (信頼して検証)」という原則が機能しなくなり、全てが「未検証」として扱われる
  • 一度信頼が損なわれると、 将来のメッセージ全体への不信感 に波及

学習・信頼の悪循環

  • 生出力共有は、 送信者の学習機会や信用を損ない、受信者は労力を浪費し信頼を失う悪循環
  • 認知的不協和 が生じ、受信体験が不快となる要因

人間らしい執筆の価値

  • 執筆は読解よりもコストが高かった時代、文章には「人間が考え抜いた証」があったという指摘(Alex Martsinovich)
  • 磨かれたAI回答でも、内容が正しくても冷たく感じる」との意見(Blake Stockton)
  • 自分で読んでいない文章を公開するのは失礼。自分が書くのにかかった時間より読者が読むのに時間がかかるものは公開しない」という倫理観(Simon Willison)

まとめ

  • AI生出力の安易な共有は避けるべき
    • 自身の理解・信頼性の維持
    • 受信者への配慮と誠実な情報提供
  • AI活用時は必ず自分で内容を精査・編集し、人間としての責任を持つことが重要

Hackerたちの意見

職場で生のChatGPTの出力をそのままチャットに貼り付ける人たちにうんざりして、「スロッピーパスタ」って言葉を作ったんだ。これが失礼な理由と、代わりにどうすればいいかのガイドラインを書いたよ。スロッピーパスタとは、誰かに無視され、洗練されず、頼まれもしない状態でコピペされたLLMの出力のこと。スロップ(低品質なAI生成コンテンツ)とコピーパスタ(批判的思考なしにコピー&ペーストされたテキスト)を組み合わせた言葉だ。送信者が自分でやらなかった仕事を受け取る側に押し付けるから、失礼だと考えられているんだ。

「スロップ」という言葉が広まって嬉しいよ。現象を簡潔に表現するのにぴったりで、同時に柔軟性もあるしね。スロッピーパスタ、マイクロスロップ、ワークスロップ、エンスロッピフィケーション、などなど。

この記事の提案は、スロッピーパスタをやめさせるためにその人たちを説得することだけど、私はむしろスロッピーパスタを受け取った側が何ができるかに興味がある。どうやって同僚に未確認のAI出力をやめさせるか、私たちの間に緊張を生まないように言えるだろう?今までそれを言ったことはないけど、彼らのプロ意識の欠如を暴露することになるかもしれないし、もし私が間違ってAIだと思ったら、単に彼らの仕事が悪いAIのスロップに見えるって言ってることになるからさ。

スロッピーパスタの中でAIが間違っているところを指摘するのは、慎重にやれば結構うまくいくことがある。恥ずかしさを避けることが強力な動機になることもあるしね。私にとって一番興味深い出来事は、誰かが私たちのDiscourseスレッドをAIに貼り付けて、自分の気持ちが傷ついたのを確認しようとしたことだ(その後、完全におべっかを使うプロンプトを出した)。そして、その返答を私を非難する形で投稿してきた。モデレーターは私が気づく前にその件を処理してくれたけど、私はその後同じことをやって、違うプロンプトを使って、出力を共有しなかった。面白い経験で、探求でもあった。以来、私は自分の文章にもっと気を使うようになって、時々似たようなプロンプトを使ってトーンを調整したり、自分を指摘したりしている。最初の草案は自分で書くことが多くて、編集にAIを頼ることはほとんどないよ。

これを直接共有できるように、またはその議論をするためのフレームワークを提供するつもりで書いたんだ。nohello.netやdontasktoask.comみたいな感じでね。私は、同僚とのサイドバーでの会話が成功することがある(例えば、彼らがスロップを貼り付けたメインの公開スレッドではなく)ので、なぜそれが混乱を招くのかを説明し、行動をどう変えられるか提案している。AIの適切な使用や貢献に関するより広いポリシーを提案したり、貢献したりすることができれば、そのポリシーを会話の正当化として活用するのも有効かもしれないね。

どうやって同僚に未確認のAI出力をやめさせるか、私たちの間に緊張を生まないように言えるだろう?人ではなくパターン?一般的なチームレビューとかがいいかも。技術リーダーがそれを押し付けてこなければね。

同僚に未確認のAI出力をやめさせるには、どうやって緊張を生まないように伝えればいいかな?そのまま続けてたら、自分たちが自分の仕事を奪ってることに気づかせたい。「AIにただのパイプとして機能してるだけなら、君にはどんな価値があるの?」

「お聞きしてもいいですか?LLMからの未編集の出力を送ってもらったことはありますか?あなたの考えを聞きたいです!」

「同僚に、緊張を生まないように未確認のAI出力をやめさせるにはどう言えばいい?」 そんなことは言わないよ。彼らの出力を無視するための議論を用意しておくんだ。

ほんとそれ。長文に対して一行だけ返すのが多いかな。向こうはまた長文送ってくるのかね?

「同僚に未確認のAI出力をやめさせるにはどうすればいいですか?私たちの間に緊張を生まないように。」 緊張を受け入れなよ。緊張は人間らしいから。

関連: https://news.ycombinator.com/item?id=44617172

Hacker Newsで議論の続きを見る