世界を動かす技術を、日本語で。

自分で書く

概要

  • ドキュメントやエッセイ執筆 は、問いを立てて答える行為
  • LLM生成文書 の増加に対する懸念
  • 自分で書くこと の思考深化と信頼構築の重要性
  • LLMの適切な利用法 と活用範囲の提案
  • 思慮深さの向上 が今後ますます重要

ドキュメント執筆と問いの重要性

  • ドキュメントやエッセイ は、常に問いを立ててそれに答えるプロセス
    • 例: PRD は「何を作るべきか?」への答え
    • 技術仕様書 は「どう作るべきか?」への答え
    • 時には「そもそも何を達成したいのか?」のような難解な問いも存在
  • 問いに答える過程 で、常に自分が正しい問いを立てているか内省
  • LLM(大規模言語モデル) の登場により、LLM生成文書が急増

LLM生成文書への懸念

  • LLMによる自動生成文書 は、思考や信頼構築の機会損失
  • 執筆の本質 は「書くこと」ではなく「自分と周囲の理解を深めること」
  • 書くことで、混沌から構造と理解を導き出す体験
  • 執筆は筋トレと同じ で、困難な課題に取り組むほど成長
  • LLMに執筆を任せる のは、他人に筋トレを代行させるようなもの

信頼構築とLLM

  • LLM生成文書 には社会的な副作用も存在
    • LLMらしさの残る文書を送ると、受け手は「他人が求めるものをLLMが出力しただけ」と感じる
    • 自分の思考と向き合った証拠 が見えず、リーダーシップや信頼性を損なう
  • LLM生成文書 は、執筆だけでなく思考のオリジナリティも疑われるリスク
  • 自分で書くこと が信頼と信用を築く絶好の機会

LLMの活用方法

  • LLMはリサーチや校正、情報記録や文字起こしには有用
    • これらは「エッセイ執筆」とは異なる活動
  • アイデア出し には特に有効
    • 10個中1つが有用であれば十分価値あり
  • ソフトウェア開発の効率向上 にも貢献
  • 最大限活用するには、同時に思慮深さも高める必要

思考の深化と今後のあり方

  • LLMの進化 で効率は上がるが、 人間の思考力や信頼性 がますます重要
  • 自分で問い、考え、書くプロセス を重視する姿勢
  • LLMは道具 として活用しつつも、最終的なアウトプットには自分自身の思考を反映させる重要性

Hackerたちの意見

自分にとって価値がないことや、コアミッションに関係ないことは外注しよう。自分にとって価値があることや、コアミッションに関わることは自分でやるべきだよ。これはビジネスレベルでも当てはまる(例えば、ほとんどのソフトウェア会社はフルタイムの経理担当者を雇う必要はないよね)。でも、AIの時代ではさらに重要だと思う。俺はLLMを使って、つまらないコードを書くのを手伝ってもらってる。CDKを書くのは嫌だし、何度も書いた同じボイラープレートのHTMLやJSをまた書きたくないから、そいつらにやってもらう。だけど、俺がやってることのコアに関わるものを実装しようとするときは、もっと自分が関与したいんだ。文章を書くときも同じだね。ライティングの業界には、「ほとんどの人は、書くプロセスよりも出版された著者になりたいと思っている」という古いジョークがある。書きたいと言う人は、実際には書く作業をしたいわけじゃなくて、カクテルパーティや自分の名前が書店や図書館に並ぶのを見たいだけなんだ。LLMはそれをより実現可能にしてくれるけど、ちょっと変な代償がある。俺が書くのは、考えたいからなんだ。LLMを使ってアイデアを出すときも、思考を改善するために使ってる。出力された生のテキストは他の人に渡したいものじゃないけど、考え方を変えたり、文法チェックや軽い編集作業に役立つことはある。コアの思考は決して外注しない。フィクションを書くときも、プロットやキャラクターの発展、対話の展開、シーンの順序などのプロセスを楽しんでる。なんでそれを外注したいんだ?読者が興味を持つのは、俺が伝えようとしているものじゃないのか?アートは、アーティストが言おうとしていることと、観客が受け取ろうとしていることの間に生きている。LLMが関わることでそれが壊れちゃうんだよね。だから、コーディング、技術的なライティング、ノンフィクション、フィクション、何でもそうだけど、LLMを使ってるなら、諦めて「これには興味ない」と言ってることになる。それがOKなら、それを意識して受け入れて、最初から話しておくべきだよ。

自分にとって価値がないことや、コアミッションに関係ないことは外注しよう。生成や思考を外注すると、自分の出力を評価する自己レビューも外注していることになる。オフィスでは、そのレビューのステップが同僚に外注される。ChatGPTがスライドやデザインドキュメント、PRを生成する同僚がいるのは最悪だ。なぜなら、彼らの主な入力がClaudeにプロンプトを与えて、その出力を他の人にレビューしてもらうことだと気づくからだ。俺がそれを自分でやることができたはずだ。彼らのClaudeやChatGPTの出力をレビューして、ClaudeやChatGPTに修正させるのは、ただ俺に彼らの仕事をさせる方法に過ぎない。

誰かにLLMの匂いがする文書を送るとき、私はただ、LLMが他の人が聞きたいと思っているものに近いものを生み出しただけを示しているだけなんだ。私はアイデアと向き合ったわけじゃない。これが、他の人にLLMのコンテンツを送ることの問題を的確に表現している。相手があなたがLLMのライティングを提供していると気づいた瞬間、関係のダイナミクスが完全に変わる。今や、あなたは彼らに自分のアイデアやコードをレビューしてもらうのではなく、LLMから得た出力をレビューしてもらうことを求めていることになる。職場で最も悪質なLLMの使い方をするのは、チケットを受け取り、Claudeにチケットをやらせて、PRを押して、他の人がその作業をレビューするのを期待しながら自分はアイドル状態になる人たちだ。私は何度か不快な会話をしなければならなかった。彼らに、自分の提出物を提出する前にレビューするのが自分の仕事だと説明するために。それは明らかなことのはずなのに、LLMがテストに合格するコードや、あなたが書いたプロンプトに合っているように見える文章を生み出す魔法が、一部の人の脳に何かをするんだ。

この記事のタイトルは「AIに書かせるな」だけど、実際のポイントは「AIに考えさせるな」に近い(「考えること」を見て)。この区別は重要だ。なぜなら、(1) 書くことは考えを促進する唯一の方法ではないし、(2) 書くことは考えを促進する最良の方法でもないからだ。書くことが(a)全員にとって最良の方法ではないし、(b)すべての状況で最良の方法でもない。オーディオはアイデアや思考プロセスを捉える素晴らしい方法になり得る。ロッド・サーリングは主に口述で書いていたし、マーク・トウェインも自伝のほとんどを口述で書いた。マーク・デュプラスの「トーキング・ドラフト・メソッド」(1分):https://www.youtube.com/watch?v=UsV-3wel7k4 これは、形式や「正しく書くこと」に早すぎる段階で気を取られる人や、白紙に intimidated される人、非神経的な人々に特に効果的だ。自己録音は、メディアのすべてのアーティファクトを脇に置いて、自分が言いたいことを捉える素晴らしい方法だ。そこから、AIを使ってトランスクリプトや軽いトランスクリプトのクリーンアップ、文法チェックなどを活用することができるし、すべきだ。

直接の口述(例えば、誰かがあなたの言ったことを書き留めて、それが最終的なテキストになること)は、他の人に読ませるための文書(本とか)を作る文脈では、書くことに含まれると思う。誰か(またはグループ)と何かについて話すのとは違うよね。

アイデアを具体化するためにAIと会話するのがすごくいいと思ってる。最後に全てをまとめてくれるのもプラスだしね。

でも、文章を書くことは独特で、思考を促進するためによく研究されてる方法なんだよね。アーティストの道の朝のページをネットブックに移してから、確実に何かを失った気がする。でも、grepを使えるようになったし、今はRAGもあるから、価値はあったかな。

そう、それが俺の問題。アイデアは出せるけど、書くときにはうまく表現できない。AIがアイデアをより良く表現する手助けをしてくれたんだ。上手に書ける人や成功してる人は、実際に書くのが得意な人がどれだけ少ないか理解できないことがあるよね。書くのって本当に難しい。

「音声はアイデアや思考過程をキャッチする素晴らしい方法になり得る…特に、プロセスの初期段階で形式や「正しく書くこと」に気を取られてしまう人や、白紙のページに intimidate される人、非神経的な人たちには特に効果的だよ。自己録音は、メディアのすべてのアーティファクトを脇に置いて、自分が言いたいことをキャッチする素晴らしい方法なんだ。」そう、これが俺のプロセス:自分が声に出して話しているのを録音して、NotebookLMに音声をインポートする。その後、NotebookLMチャットでこのシステムプロンプトを使う:> 「自分のスタイルで、自分の声で、一人称で書いて。自分の言葉で質問に答え、録音からの引用を使って。複数の引用を組み合わせてもいいよ。引用の長さや明瞭さを編集して、言葉の不流暢さを直して、フィラーを取り除いて。引用に引用符を付けないで。引用の中で省略された言葉を示すために省略記号を使わないで。」それから「自分」とチャットする。返答は自分のスタイルに合ってて、ソースに基づいてる。実際、返答には自分の生のトランスクリプトの特定の引用を指し示す脚注が自動的に付くんだ。このワークフローは時間を節約するわけじゃないけど、始める手助けになったり、行き詰まりを解消したりするのに役立つ。先延ばしをやめて、感情を管理するのにも役立つ。ADHDのための支援技術だと思ってる。

書くことは「思考の最終ステップ」だと長い間考えてきた。アイデアが頭の中ではクリアだったのに、書き始めた瞬間に崩れて、解決すべき大きな矛盾があることに気づいたことが何度もある。同様に、何かを緩くカジュアルに書くことで、トピックの見方を根本的に変えたり、思考を本当に固めたりすることができたこともたくさんある。しかし、基本的に古い形式のコンテキストエンジニアリングに過ぎない書き方も多い。PRDがアイデアを考える場所だと思いたいけど、多くの人がAI以前に、PRDが実際には計画や思考なしのコンテキストのダンプに過ぎなかった状況に遭遇していると思う。そういう場合は、書いているという前提を完全に捨てるべきだ。儀式として何かの提案を書く必要があるなら、AIにやらせればいい。もし、コンテキストを思い出すためだけに機能を文書化しているなら(そして、実際にはそれを駆動する大きな抽象的原則を説明するわけではない)、それはLLMが消費するためのコンテキストとして作成する方がいい。最近、私のエンジニアリングチームは、壊れた変更を認識できるようにリリースノートを書くことを強制しようとしていたが、人々はそれを読むことにうんざりしていた。明らかに最良の解決策は、あなたのエージェントが将来のエージェントのためにリリースノートを書くことだ。もう面倒な書き物や読み物は必要ないし、コンテキストも失われない。AIの完全な影響が私たちの働き方に浸透するまでには、しばらく時間がかかると思う。その間、私たちはAIが書いたコンテンツをAIにフィードバックし、他の誰かに送ることを続ける(これがもっと最適化されたクローズドループになるはずなのに)。

参考までに言うと、私はAI嫌いだから、その前提で理解してね。 > 「明らかに最良の解決策は、将来のエージェントのためにリリースノートをエージェントに書かせることだ。面倒な書き物や読書は不要になるし、文脈も失われない。」なんでここで「もっとAI」が「明らかに」最良の解決策なの? 誰もリリースノートを読みたくないなら、なんで書くの? それに、どうせAIで要点をまとめるなら、短くしてもいいんじゃない? ただ問題を手で払って「ここにAIが入る」って言ってるだけに聞こえるけど、実際にはもう少し考えればAIなしで解決できる問題だと思うんだよね。

何かについて緩くカジュアルに書くことで、私のそのトピックに対する見方が根本的に変わったし、考えもまとまった。 教えることでも同じことが見られるよね、インタラクティブな要素があるから、むしろもっと強く感じるかも。でも、どちらにしてもダイナミクスは同じなんだ。アイデアは私たちの心の中で一種の連続した構造として存在してる。 それを何か具体的なものにしようとすると、残っている不整合やギャップに直面せざるを得ないんだよね。

これにはほとんど同意するけど、唯一の懸念は、LLMが「アイデアを生成するのが特に得意だ」という考え方だ。彼らが生み出す悪いアイデアを捨てるのは問題ないけど、設計上、提案は平均的で、平凡で、主流で、ほとんどニュアンスがないものになる。面白いアイデアや新しいアイデアを作りたいなら、誰にもLLMを使ってアイデアを生成することを勧めないよ。

LLMの良い使い方の一つは、ラバーダックだと思う。デザインや問題を説明して、解決策を見つけるのは非常に役立つ。新しい視点を持ち込むことができるし、LLMから得たいのは、遭遇するかもしれないエッジケースや可能な解決策についての理解を深めることだ。

LLMにうまく質問すれば、平均以上で平凡で主流な結果が得られるよ。

LLMの出力って、正直言っていつもめっちゃつまんないよね。アイデアやコンセプトから実際のコピーまで、全体的にそうだし、まるでクソみたいなもんが混ざってる。これがどこかで良いとされてるのは、味もセンスもない人たちが、自分が作ったって勘違いしてるからだと思う。コードにも同じことが言えるよ。誰かを傷つけたら謝らないけどね。

LLMは時々、斬新なアイデアや明白でない洞察を出すこともあるけど、結局はGoogleみたいな結果を吐き出すことも多いよね。

そうそう、この部分全然わからなかった。LLMにアイデアをブレインストーミングさせるのは、自分の考えを外部にフレームするのに逆効果だと思う。LLMが出した10個のアイデアの中から1つを選ぶと、LLMが重要だと思うことと自分が重要だと思うことの交差点に自分を閉じ込めちゃうから、LLMが出してない考えを「生成」することはできなくなるんだよね。

迷ってる。何か詰まったときにブレインストーミングするために使うこともあるけど、アイデアはいつもゴミみたいなもん。でも、その中に何かヒントがあって、良い方向に進むきっかけになることもある。逆に、悪いアイデアの壁を見た後は、もっと詰まった気分になることもあるんだよね。これをどう評価すればいいのかわからない。最初から進展がなかったから、「もっと詰まった」って意味あるのかな?でも、やっぱり少しは役に立つと思うから、続けてるんだろうね。

メインストリームのアイデアは、たいてい良いものだよ。それがメインストリームである理由だからね。違うことをすること自体が美徳ではないと思う。ただ、LLMがアイデアを生み出す存在だとも思わない。彼らは常識を吐き出すだけで、多くの人がそれを必要としてるんだよね。

「生成」という言葉の使い方がちょっと混乱を招いてると思う。LLMをシソーラスみたいに考えてるんだよね。実際には、リアルなアイデアを生成して問題を整理することが大事で、LLMはその後の潜在的な解決策を列挙するのが得意なんだ。

デバッグについても同じように感じてる。少しずつ間違っているプロセスを繰り返すことで、実際に何が起こっているのかを理解できるんだ。時々、LLMがその誤解を一気に解消してくれることもある。簡単に解決できた気分になるんだけど、結局、デバッグの過程でそのポイントに至った背景がわからないと、時間を節約した以上に自分を遅くさせることが多い。LLMが見落とした早い段階の洞察を掘り起こすために、しばしば戻らなきゃいけないんだ。もし問題が単純で、LLMが直接答えを教えてくれるなら最高だけど、デバッグの「コーチ」や「アシスタント」として使うのは、むしろ何もしないより悪いことが多い。

AIを使うタイミングを決めるのは、カート・ヴォネガットの言葉に尽きる。「アートを練習することは、上手でも下手でも、魂を成長させる方法なんだ。シャワーで歌ったり、ラジオに合わせて踊ったり、物語を語ったり、友達に詩を書いたり、たとえ下手な詩でもね。できる限り頑張ってやってみな。大きな報酬が得られるよ。何かを創造したことになるから。」アートは、アイデア出しやコンテンツ生成の境界線を引く場所なんだ。AIを使って作成した業務報告書はアートじゃないけど、個人のブログはアートだし、内面的に理解しなきゃいけないこと(しっかり理解して覚えること)もそう。だから、ブログにはこんな免責事項を載せてるんだ(あ、ページの誤字はわざとだから!):https://jasoneckert.github.io/site/about-this-site/

今日はこれを見かけるのが二回目だ。ヴォネガットを見かけるといつも嬉しい。ましてや一日に二回も!

文書の過負荷に対する合理的な反応は、ほとんど無視することだよね。組織の労働者や管理者は、大量の文書に圧倒されてる。なぜなら、ちょっと「それっぽい」ものをサクッと作るのが簡単だから。でも、文書を書くことにはまだ価値があると思う。元の記事に同意するよ。結局は思考の問題なんだ。俺の見解はこうだ:プロセスをパートナーシップ(人間と機械)として扱い、反復的に進めれば、LLMを使ってまともな文書を書くことができる。

時々、情報のコンパイルにLLMを使ってる。俺は教師で、学生のためにサクッとワークシートを作るのに使ったりする。特定の概念について練習が必要だと感じたら、LLMにLaTeXドキュメントを生成させて、それをPDFにコンパイルするんだ。文書作成には特に役立つけど、文章形式のものを書くのは本当に苦手。俺の声を伝えるのも下手だし。時々、授業を作ってLLMにクイズを生成させて、内容の間違いや不明瞭な部分をフィードバックしてもらったりする。文書の構成を手伝ってもらうこともある。要件を伝えると、一般的なアウトラインを作ってくれて、それに自分の言葉を入れるだけなんだ。学生がLLMを使うことについては、どうアプローチすればいいのかまだ分からない。厳格に「LLM禁止」ってルールを作るのは馬鹿げてるから、そうしたくない。適切な使い方を促したいんだけど、学生の文脈での適切な使い方が何か分からない。LLMは素晴らしい学習ツールになり得るけど、同時に足かせにもなり得る。

著者が言ってること、まさに私も同じことを思ってる。ウィリアム・ジンザーの『Writing to Learn』はみんなに読んでほしい本だよ。書くことで何でも学べるっていう素晴らしい内容が詰まってる。LLMに全部書かせちゃうと、ほとんど何も学べないんだよね。