世界を動かす技術を、日本語で。

読者の反乱

概要

  • 読書執筆 の重要性についての個人的な考察
  • LLM(大規模言語モデル)執筆 への読者の反発とその理由
  • Pangram のようなAI検出ツールの進化と効果
  • オーセンティシティ(本物らしさ) を重視する組織への提言
  • LLM活用 の適切な範囲と今後の執筆姿勢への警告

読書と執筆の価値

  • 読書 は人生に深い影響を与える重要な行為
  • 執筆 はアイデアの伝達だけでなく、思考の精錬・検証の場
  • 執筆行為 自体がアイデアを強固にし、共有の手段となる
  • 読書と執筆は 相互に密接 に関連する営み

LLM執筆への読者の反応

  • LLM執筆 が明らかな文章が増加している現状
  • 読者は LLM執筆 を容易に見抜く能力を持つ
  • LLM特有の 構造的特徴 や違和感が読書体験を損なう要因
  • Cynthia Dunlopの調査によると、 78%の開発者 がLLMと判別した時点で即座に読むのをやめる
    • 71% が今後その著者を避けると回答
    • 98% がLLM仕上げよりも著者自身の不完全な文章を好むと回答
  • 読者が求めるのは 完璧さ ではなく 本物らしさ誠実さ

LLM執筆がもたらす信頼の喪失

  • LLM文章は 何が本物か不明瞭 になる不安を生む
  • LLMによる執筆は 書き手と読み手の社会的契約 を破る行為
  • 読者が離れることで、 著者自身が損失 を被る
  • LLM活用は今後ますます 非効率的 かつ 逆効果 となる可能性

スパムとの比較とAI検出技術の進化

  • Eメールスパム の歴史とフィルタ技術の進歩の類似性
  • スパム同様、 LLM執筆 も人間には検知可能
  • 既存のLLM検出は 誤判定が多い ケースが目立つ
  • Pangram Labsの Pangram 3/4 モデルは高精度でLLM検出を実現
    • 低い偽陽性率低い偽陰性率 を両立
    • Oxideの公開執筆基準として Pangramによる人間執筆認定 を明記
  • 組織の 声の信頼性 を守るため、同様のポリシー採用を推奨

Pangramとコミュニティの反応

  • Pangram Labsの Max Spero との対談で技術的詳細や反響を共有
  • LLM執筆を「 steamed hams」に例えたユーモア
  • Pangram 4の有効性と、検出精度の高さが一部から反発を招く現象

今後の執筆姿勢への提言

  • 読者は LLM執筆 に敏感であり、今後も Pangram等で検証 されると想定すべき
  • LLMに文章を 丸投げ するなら、むしろ プロンプトだけを公開 すべきという指摘
  • LLMは 編集者 として活用し、 執筆自体は自分で行う 姿勢の重要性
  • 真摯な執筆が 読者の信頼と関心 を得る唯一の方法

Hackerたちの意見

誰かブラウザ拡張を作って、HNの投稿にトップ100のパンガラム結果をラベル付けしてくれたらいいのに。そうすれば、無駄にクソみたいな投稿を読む時間を浪費しなくて済むから。ブライアンの文章を読むのはいつも楽しいよね。まるでブライアンが目の前にいて、言葉を話してるみたい(その感覚を伝えるのは難しいけど)。

AIのクソみたいな投稿は自動でフラグを立てるべきだよ。最近、フロントページのリンクの20%くらいがそれだもん。

それは正直、最高の賛辞だね。ありがとう。そして、昨晩この作品が自分の中で煮えたぎり始めたとき(残念ながら、明らかにLLMが書いたRust Foundationのゲストブログエントリーがきっかけだったんだけど)、同僚にメッセージを送ったんだ。「自分が得意なことをやる時間だ:多くの人が考えていることを率直に言う」って。あの言葉が予言的だったのは嬉しいよ!

同意だね。オキシドポッドキャストも好きだよ。ハードウェアは自分が見ることも使うこともないだろうけど、どこかで誰かが自分たちの目指すものを追い続けているのはいいことだよね。前の仕事でエンタープライズハードウェア(TM)を扱っていたから、あのクソみたいなものを見て「そんな風にする必要はない」って言って、実際にそれを証明しようとする人を見るのは新鮮だよ。

さらに進んで、すべてのページの単語をスキャンして、LLMの文章の可能性が高くなるにつれて、どんどん透明に色を変えるブラウザ拡張が欲しいな。

これをやってるウェブサイトがあるよ:https://www.salahadawi.com/hacker-news-ai-detector 残念ながら、ブラウザ拡張じゃないし、APIもないみたい。高いPangramの利用料を払わずに済むなら、自分でブラウザ拡張を作りたいんだけど。

人々がAI生成のテキストを正確に識別できるかどうか、どうやって判断するの?もし誰かがAI生成のテキストを読んで気づかなかったら、彼らは定義上それについて知らないことになる。人間が作ったコンテンツをAIだと思ってアクセスするケースがたくさんあるし、AI生成だと比較的議論の余地がないように見える場合もあるけど、人々がどれだけのAIコンテンツに触れているのか、そしてそれをどれだけ認識しているのかを知らない限り、全体の状態を結論づけることはできないと思う。

人々が嫌悪感を抱かない作品は大丈夫だよ。読者が高品質な文章の洪水で嫌悪感を抱いているわけじゃないからね。

これはかなり曖昧で軽視している感じだね。ほとんどの人が大体気づいていると考えるのは安全だよ。なぜなら、多くの人がLLMが出力したものをそのままコピー&ペーストして、編集もマスクもしないから。みんな同じリズムや言葉遣いの例をたくさん見てきたから、かなり確実にそれを識別する方法を学んでいるんだ。「見逃している」人たちは、実際には単に生のLLM出力をペーストするだけじゃなくて、ちゃんと手を加えているのが本当の問題だよ。もし誰かが後から意味のある編集をしたなら、それは同じ罪じゃないよね。

これは、誰かがある程度文章をうまく偽装したエッジケースの話じゃないと思う。今のLLMたちには、かなり明らかで(正直言ってイライラする)癖がデフォルトであって、それなりに出力を読んだら気づかざるを得ない。ざっくり言うと、特定の説得力のある感情的な文章に共通する癖の集まりだけど、テーマに対しては比例を超えて適用されることが多くて、結果としてかなり大げさで、ドラマチックすぎて、読むのが疲れるものになっちゃう。LLMは、TODOアプリのREADMEをスリラー小説、政治演説、衝撃的なニュース記事のミックスみたいに書くことがよくある。特定の癖はたくさんあるけど(量と均一性のせいで、LLMが身につける癖はその良し悪しに関わらずすぐにクリシェに陥る)、これはテキストの出所に関係なく問題だと思う。感受性はかなりバラつくと思うけど、どれだけテキストを読んで、どれだけLLMの文章に触れたかによるね。確かに、多くの人はあまり気づいていないか、少なくともあまり気にしていないみたい。

今やAIライティングは「私が好きじゃない文章」を意味するだけだね。ナチスも、政治的に反対する何かや誰かを指す言葉になっちゃった。言葉の意味が失われてる。

仕事でこれを見てるよ。人々がボットを使って仕様書やデザイン提案を「書いている」んだ。これが目立って、すごく興ざめだよ。研究を助けるためにボットを使うことには問題ないけど、君が適当にまとめた文書は読みたくないね。

Hacker Newsで議論の続きを見る