ハクソク

世界を動かす技術を、日本語で。

さまざまなLLMの匂い

1日前原文(shvbsle.in)

概要

  • LLMを使った執筆の「AI臭」についての気付き
  • 初期はAI生成文が魅力的に感じられた経験
  • 3か月後、同じ文体や構造がネット全体に拡散していることを発見
  • 「AI臭」が様々なAI支援タスクで現れる現象
  • 具体例として、文章構造やWebデザインでの共通パターンを紹介

AI生成文における「AI臭」の発見

  • 昨年末、 数学ブログ 執筆に LLM を活用
  • AI生成文は 語彙力や文構造 が自作より優れている印象
  • 当初は「AI特有の違和感（AI-slop）」を感じなかった
  • しかし約3か月後、 同じ文体や構造 が インターネット全体 に蔓延
  • 「AI臭（ai-smell）」という特徴が AI支援タスク全般 で浮かび上がる現象

LLM執筆の具体的な「AI臭」例

  • パンチライン の多用
    • 「Humans trust symmetry because it feels like intelligence made visible.」
    • 「The Tiger fit the story. Jin-yong fit the physics.」
    • 「Symmetry becomes a trap.」
  • 連続する短文
    • 「Yet the tilt is not an accident. It is the shape of the optimum.」
    • 「Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.」
    • 「These examples are not decorative. They form a distributed argument.」
  • 「X is the Y of Z」構文
    • 「Cringe is the visible signature of moving along a gradient you chose.」
  • 「XだけでなくYも」パターン
    • 「solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts」

AI生成ウェブサイトに見られる共通パターン

  • JetBrains Monoフォント の多用
  • 「step」や箇条書き が同じフォントで頻出
  • 統一されたボタンやカード、バッジの点滅エフェクト
  • フットノート の使い方が類似

AI支援ツールへのスタンス

  • LLM/AIの創作活用自体には否定的でない立場
  • ただし、 AI臭 が様々な領域で認識可能になってきたことへの着目
  • 今後も AI特有の表現やデザインパターン の観察継続

Hackerたちの意見

何もない、何もない。ただの_____か、アプローチを「正直」と表現すること。

└

ジャブ、ジャブ、スラストがそのパターンを考える時の俺のイメージ。タップタップ、ワックでもいいけど。そして、ポジティブな表現にも出てくる: 「スムーズ。楽々。あなたのニーズに完璧にフィット」。このような非公式または説得力のある文章スタイルでは、ポイントを強調するために使われる感じがする。こういうサインについてオープンに話すのをやめてほしいな。ある程度の正確さで判断できるのはいいけど、それが永遠には続かないだろう。

└

「正直」「ストレート」「本物」「実際」「リアル」って言葉は、俺には弱い主張を隠すための言葉にしか思えない。ここで「本当にそうなの？」ってスタイルでサブエージェントがファクトチェックをするフックを考えてるんだけど、ひどすぎるからね。それに、「XじゃなくてYだ」っていう偽の区別も、ソブシチが「運転じゃなくて、車に乗ってるだけだ」って主張するのと似たような使い方されてるよ。

LLMが生成した文章は、自分の文章よりも明らかにかなり良く感じた。LLMの一般的なパターンは、あなたが苦手なことに対してすごく得意に見えることだ。つまり、特定の分野でその出力が自分のものよりもかなり良いと感じるなら、その質を効果的に判断する能力がない可能性が高いってこと。

└

記憶術: geLL-Mann アムネジア効果

└

正直、LLMの文章が少しでも通用するなんて思えない。こう思う人はもっと読書した方がいいよ。月に一冊読むのなんて、全然目標にならないし。メルヴィルやヘミングウェイ、チョーサー、シェイクスピアを読む必要はないから、人気のNYTベストセラーを一冊手に取ってみて。それがLLMが生成できるものよりもずっと良いから。

└

絵を描くのが好きなんだけど、LLMの画像（あと、もしかしたら非LLMのものも）には耐えられない。理由は、整合性がない（視点、小さなディテール、色彩理論）と、ディテールが多すぎて視覚的なノイズになってしまうから。ほとんどの絵画では、アーティストは最も詳細な主題を描いて目を引くようにして、そこからディテールが失われていくのに何らかの論理がある。このようにして、アーティストが最も興味を持っているものを特定するんだ。LLMは、写真のモンタージュにフィルターをかけたように見える。

└

確率については異論はないけど、今のフロンティアモデルは、俺がかなり詳しい分野でも書くのに完全に無駄ってわけじゃないよ。1年前にはそんなこと言わなかったけどね。常に注意深く見守らないといけないけど、専門家でも見抜くのが難しいような、もっともらしいナンセンスを吐き出すのが得意なんだ。でも、裏で行われているサイコロの振り方は、正しい/役に立つ方向に偏っていることが多いよ。

└

LLMの一般的なパターンは、自分が苦手なことに対してすごく優れているように見えることだよね。コーディングにも当てはまると思うけど、これがHNでのLLM生成コードの質についての意見の極端な違いを説明する一因かもしれない。1つ目のグループは「AIは自分が書けるよりもずっと良いコードを生成してくれるし、自分が数日かかることを一瞬でやってくれるから、10倍生産的になった！」って言ってるし、2つ目のグループは「AIは常に再作業が必要なひどいコードを生成するし、ミスもするし、見守らなきゃいけないから、結局時間を無駄にする！」って言ってる。間にはスペクトラムがあるけど、同じ製品の出力がこんなに違って見えるのはどうしてなんだろう？残念ながら、1つ目のグループには悪いニュースがあるよ…

└

でも、実際にはこれが何を意味するの？あなたが正しいと仮定しよう。あなたがLLMに何かを書いてもらったとき、それが本当に良く見えるとする。そうすると、あなたの推測に基づくと、私はあまり良いライターではないってことになるよね。じゃあ、それが私が何をすべきかにどう影響するの？私があまり良いライターでないなら、LLMは実際に私よりも優れているってことになる。たとえそれが専門家のライターにとって客観的に良いものでなくても。私の選択肢は、自分のひどい文章を生み出し続けるか、LLMを使ってより良い（でも素晴らしくはない）文章を作るかのどちらかだ。LLMを使うのが理にかなってるんじゃない？あなたの前提が間違っていたとしても、あなたの結論に至ることになるように思える。もし私がLLMがあるタスクに優れていると思うなら、それは私がそのタスクに非常に悪いということだし、私はおそらくLLMにやらせた方がいい。逆に、もしあなたが間違っていて、私がLLMが何かに優れていると思うのは、それが実際にそのことに優れているからなら、私もそのタスクをやるためにLLMを使うべきだよね。どちらにしても、LLMはそのことに関して私よりも優れている。

└

ダニング＝クルーガー効果にかなり近いね。

└

俺は部分的に言葉を書くことで生計を立ててる。クロードは、俺が吐きそうになるような文章を書くのが本当に下手なんだ。コードを書くことはめったにないし、仕事で書いたのは一度だけ。でも、クロードが数秒で書いたコードを見せてくれると、自分がスーパーヒューマンで、億万長者になる一歩手前にいる気がする。世界を変えるぞ！！って思ったら、クロードが俺を壊したくなるような言葉を書けないことを思い出して、俺は言葉を書くのは得意だけど、コードを書くのは苦手なんだよね。だから、そのコードを消して、次のザッカーファックになるよりも利益の出ることに戻るんだ。

└

これは基本的にGell-Mann Amnesiaの別の例だね。自分が専門家のトピックについてLLMに話させると、間違いだらけだって気づくけど、何も知らないトピックについて話させると、なぜかそれがすごく賢くて正しいと思っちゃうんだよね。

  • 「正直な警告:」(または「本音の警告:」、どちらもコロン付き) - 「正直な答え:」(これもコロン付き) - 「内面化すべきこと:」 - 「決定的な証拠:」(本当に、「The :」で始まる文は強いサインだけど、この4つが特に多い) - 「負荷を支える」(建築の話をしていない時) - 「爆風範囲」(実際の爆発物の話をしていない時、イベントや行動の影響を指す) - 「スモークテスト」(特に「サニティチェック」の方が適切な時) - 3つの句や形容詞のリストで、3つ目は実際には最初の2つの組み合わせ - 物事の「形」を比喩的に指す - 「誰かが…気になる」と終わるSNS投稿 - 「ああ。ああ。」を使った話や逸話（2回目の「ああ」がイタリック体） 編集: はい、最後のいくつかは開発者がよく使う用語だけど、実際の使用頻度については議論の余地があると思う。それに、これらのサインは最新のモデルが生成する文章にも残ってる。
└

このLLMの言い回しは毎日消費されていて、次の世代、いや今の世代の言葉に必ず入ってくるだろうね。耐えられないことになるよ。

└

実際の使用頻度について議論したいな。負荷に耐えることや爆風半径のことを言ってるなら、LLM以前からそれらはオンラインの議論で頻繁に使ってたし、俺自身も使ってたよ。負荷に耐えるって言葉は、オペレーションの世界では日常的に普通のフレーズだったしね。でも、スモークテストについては、実際に使ってるのは見たことないな。

└
  • 「happy to ...」で終わること（たいていは「happy to help」） - 上記のバリエーションとして、主語を省略して「happy to」と言うこともある - Codexは何かの「スパイン」を指す - Claudeはよく「その決定はロックされている」（つまり、決まっている）と言う
└

私にとって一番イライラするのは「escape hatch」だね。すべてがエスケープハッチだし、try catchもエスケープハッチだし、CLIフラグもエスケープハッチだ。意味がわからないし、すぐに私の「禁止ワードとフレーズ」のmdファイルに入っちゃった。

└

これらはほとんどクロードイズムに見えるね。各モデル（さらには世代ごと）に独自のこれらのイズムがあると思う。

└

「サブストレート」って言葉、めっちゃよく聞くな。

└

GPTにClaude 4.7ismsを調べてもらったよ: https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f... それと、Wikipediaに載ってるよく文書化されたパターンのリンクもあるよ: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

LinkedInのフィードをスクロールするのが今めっちゃ面白い。今日のお気に入りはこれ: 「税金が問題じゃない。マインドセットが問題だ。」

└

LinkedInのクールエイドはLLMの登場以前からあったけどね。

LLMの文章の均一性は悪いね。LLMを使って自分の文章を助けるのはいいけど、生成された単語は一切使わない方がいいよ。たとえ語彙の調整でも、自分の出力には含めないで。構造や流れを批評させたり、使いすぎの単語や受動態、トピック文のダメな選び方を見つけさせるのがいいんだ。そういうのは、客観的に見て自分の文章を改善する方法だから、スタイルを壊さないよ。ウェブデザインにおけるLLMの均一性はいいね。ほとんどのサイトは個性的である必要はない。実用的なサイトのベストデザインは可読性で、LLMは平均的な開発者よりもそれが得意だからね。同じボタンを配置する？同じタイプスケールを使う？いいね！自分でやってももっと良くはならなかっただろうし、むしろ悪くなる可能性が高いよ。

└

まったく同感。最近スピーチを書いたんだけど、LLMの言葉を自分のものとして使ってたら、どれだけひどいものになってたか想像もつかない。大切な人のために何かを書くのに、いろんなところで提案された甘ったるい言葉を使うなんて、考えるだけで恥ずかしいよ。完全にくだらないし、観客に対して自分の言葉を使うほど気を使ってないっていう大きなサインだよね。

└

ウェブデザインにおけるLLMの均一性は良いことだ。ほとんどのサイトは独自性を追求するべきじゃない。実用的なサイトのベストデザインは可読性で、LLMはそれに関しては平均的な開発者よりも優れている。いつも同じボタンを配置してる？いつも同じタイプスケールを使ってる？それでいい！もしそれがあなたにとって良く見えるなら、自分でやってももっと良くはならなかったし、むしろ悪くなる可能性が高いから。私は違うと思う。Claudeが生成したウェブサイトやスライドをたくさん見てきたけど、私には「全く努力してない」って叫んでるように見える。AIによる雑なコンテンツって感じかな。数秒であなたのウェブサイトやスライドが明らかにAI生成だってわかるなら、その内容やあなたがどれだけ努力したか（もししてたとしても）、幻覚がないか、そして（特にウェブサイトに関しては）それが本物か詐欺かも疑っちゃうよ。すべてのウェブサイトがユニークである必要はないけど、少なくともフォントやカラースキームなど、あなた自身に特有の何かを使うようにプロンプトに指示して、少しは努力したように見せて、結果を雑なものから際立たせるべきだと思う。

└

新しい個人サイトを設定しようとしているときにClaudeを使ってるんだけど、「他のページへのリンクがある素敵なメニューが欲しい」って言うと、十分良いものを出してくれるのがすごくいい。LLMを使って文章を書くのはちょっと変な感じがするけど、くだらない申請書を書くときだけは別かな。技術的な文章を書くためにコラボレーターがLLMを使ったことがあるけど、ほとんどいつも正しいように見えるけど、実際にはほぼナンセンスなものだった。クリエイティブな文章を書くためにLLMを多用するのは、目的を無にする気がするな :shrug:

今のところ、俺は誰かの生の（まあ、ちょっとした）文章が欲しいんだ。スペルミスや文法の間違いがあっても、ブログ投稿やSlackメッセージなど、ほとんどの文章についてね。LLMはアイデアを生み出したり、コードを書くのには素晴らしいけど、全体的に文章を書くのはやめてほしい。AIが言うことじゃなくて、君が言いたいことを聞きたいんだ。

└

俺の言い方だと、書く気がないなら、誰もそれを読みたいと思う理由はゼロだよ。

面白いのは、最近LLMの文章がスタイル的にあまり改善されてないと感じることなんだ。かなり前に「良い」レベルには達したけど、新しいモデルは専門の人間のライターよりも好まれるような改善をもたらしてないよ。スーパインテリジェンスを追い求める他の分野でもそれが続くかどうか、興味深いね。

コントラスト否定を忘れないでね。> コントラスト否定は、文の前半で特定のアイデアを否定し、後半で代替案を主張する修辞構造だよ。> たいてい「XではなくY」や「XだけでなくY」という形式に従う。ウィキペディアにも多くの一般的なLLMパターンをカバーした素晴らしいリソースがあるよ： https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

└

それは投稿の中にあるよ。

誰か他にも、LLMの出力（文書、プレゼンテーション、コードなど）をちゃんと読み込むために「匂い」をゲームみたいに使って、自分のものにするためにそれを排除するってことやってる人いる？俺はコンテンツをシェアするのにハードルが高いから、エムダッシュや対比的否定、「静かに」とか余計な冗長表現を徹底的に排除するようにしてる。それがすごく仕上げるのに役立つんだよね。

└

これ、数ヶ月前に見た動画エッセイを思い出すな。ある男が、ゲームの質を評価する指標の一つとして、ゲームがどれだけ自分のゲームエンジンを隠せているかを説明してた。すごく納得できる考えだと思う。基本的には逆転の発想だよね。あと、ゲームクリエイターが「ギミック」や「シナリオ」について話してるのを聞いたことがあるけど、構造や枠組みを提供するものは常に役立つと思う。これも同じようなことだね。

もし職場でClaudeを使っていて、メールに指示を出す気があるなら、「送信済みのメールを全部読んで、私の声でメールを下書きするスキルを作って」と頼んでみて。スキルを使いたくなくても、作成されたスキルファイルを読むのは面白いよ。Claudeに「私は誰？」って聞くのはちょっと変な気分だね。Slackのメッセージでは試してないけど、何が書いてあるか読むのがちょっと怖い、笑。でも、同じ考え方が適用されるはず。職場には、Slackのメッセージを書くのにClaudeを積極的に使ってる人が何人かいるよ。ある日、彼らはほとんど意味不明な英語で複数のメッセージを書いていて、次の日には一つのメッセージで完璧に整った文章を送ってるから、すぐにわかるんだ。