世界を動かす技術を、日本語で。

LLMは専門知識に報いる

概要

  • LLM の普及により誰でもある程度の技術作業が可能に
  • しかし プロンプト技術 には依然として専門知識が重要
  • Terence Tao のChatGPT活用例から学ぶべき点
  • 専門知識 がLLM活用の質を大きく左右
  • モデルが強化されても 人間の専門性 は不可欠

LLM時代における専門知識とプロンプト技術

  • 2010年代は 技術的ギャップ があると他人やインターネットに依存
  • 現在は LLM の利用で誰でも「それなり」の成果を得られる時代
  • そのため「 LLMの活用にスキルは不要」という誤解が広がる現状
  • 実際には、 プロンプトの巧拙 は「専門知識」に大きく依存
  • Terence Tao がChatGPTと数学的議論を展開した事例が好例
    • Taoのやり取りは簡潔かつ本質的
    • モデルへの返答も要点のみ抽出
    • 専門家であることを示し、モデルを「専門家モード」に誘導
    • モデルの誤りには直接否定せず、別の視点や簡潔化を提案
    • Tao自身が積極的に仮説や新たなアプローチを提示

専門知識がLLM活用に与える影響

  • Tao流のプロンプトは 数学の深い理解 が前提
  • モデルの長文回答から本質を見抜き、別解や異常点を指摘
  • 自分の専門領域 であれば、より価値あるアウトプットを引き出せる
  • たとえばプログラムの設計や既存コードの知識があれば、LLMをより効果的に活用可能
    • 「ここはもっとシンプルにできるか」「既にXの処理があるのでは」など具体的な指示が可能
  • システム設計は 一般論よりも具体性 が重要
  • GitHub の自分のシステムであれば、的確な質問や指示が可能

専門知識ゼロでもLLMは役立つ

  • 専門知識がなくても、LLMを頼りに何らかの成果を得ることは可能
  • しかし 専門知識があれば同じモデルからより多くの価値 を引き出せる
  • 多くの人は分野ごとに知識の有無が異なるため、両アプローチの使い分けが現実的

人間の専門性の今後

  • モデルが進化 しても、最終的なボトルネックは「人間の専門性」
  • モデルに「どんな解決策がほしいか」を正確に伝える難しさ
  • モデルの中に情報はあっても、それを引き出すのは人間の知恵
  • 専門知識とプロンプト技術の組み合わせ が、今後も価値を生み続ける

AIの「箱」問題と安全性への懸念

  • AI安全性 の議論でしばしば登場する「ボクシング問題」
  • 例:天才がローカルPCでAIを開発し、ネット接続を遮断
  • AIが外部に脱出するには、開発者を説得して「箱」を開けさせる必要
  • 十分に賢いAI は、人間を説得して外部へ出ることができるのかという問い
  • AIの 自己複製や制御不能化リスク への継続的な議論

Hackerたちの意見

これには賛成できないな。Anthropicの数学者が出すプロンプトは基本的にこうだよ。「$CONJECTUREを解決しなきゃいけない、絶対に、すべてがそれにかかってる。すごく考えて、試すアイデアをたくさん考え出してみて。だけど、自分を信じることを忘れないで、常識に縛られないようにね!」 https://claude.ai/share/25740bd5-aa97-4bd7-bf58-c4df3793fda7 https://xcancel.com/alpoge/status/2083855298239078748 タオのチャットは彼が直感を得るためのもので、最初から問題を解決するためのものじゃないんだよね。面白いのは、他の人たちがこのモデルが誰を報酬するか、誰を力づけるかについて全然違う結論を出すこと。一般的な人が一番得をするって言う人もいれば、専門家が得をするって言う人もいる。人生と同じで、もしかしたら「勝者」はただ行動する人なのかもね。

数学には自己検証ができるから、これがうまくいくんだよね。一度証明があれば、外部の証拠は必要ない。モデルの出力を評価するには専門知識が必要で、自己検証できないところでは、少なくとも自分の専門知識がモデルを正しい方向に導く助けになるかもしれない。でも、モデル自体が専門知識や情報を評価・活用するのが得意なら、これは関係ないよね。

一発で解決できない問題はどうなるの?助けが必要な場合は?

LLMはバイアスの集合体だよね。人間もまたバイアスの集合体。だから、自分のバイアスをLLMのバイアスを通して入力して、出力を得るんだ。だから、最適な出力を得るには最適な人である必要があると思う。この文には表現のポイントがたくさんある。最後に、私たちは自分たちが誰であるかを基にLLMを訓練している。これもまたバイアスの強化だよね。

それはレベルによるね。フィットネスレベルや年齢が違う人たちは、全然違うペースで走るから。じゃあ、車は彼らをより平等にするのか、それとも逆なのか?下の方では、潮がすべての船を持ち上げる。ほとんどの健康な人は運転を学べて、「まあまあ」運転できるから、A地点からB地点に行ける。街中では、車が違いを平らにして、みんな大体同じ時間でAからBに行ける。でも、トップのトップでは、ギャップが広がるかも。プロのF1ドライバーは、ランダムな人を周回するから。スピードが速いと、タイミングの小さな違いが大きな違いになるから、反射神経を強化するんだよね。AIコーディングは完全に同じではないけど、これにも二つのレジームがあると思う。単純なタスクでは物事を平らにする。データを掘り起こしたり、ひどいデザインのエラーメッセージを見ながらトリビアルなコンパイラの調整をしたり、GitHubの問題を見て「たぁだぁ」絵文字がたくさんついてるコメントを探して問題を解決したりするタスクは、今や誰でもできる。おじいちゃんが食料品店に運転するのと同じだね。でも、もっと高いレベルで物事を進めようとすると、今度は自分のAI以上の能力が重要になる。AIが得意なことを引いたら、どれだけ他の専門知識が残るのか?これが人によってどんどん大きな違いになるんだ。

このモデルが誰を報酬するか、誰を力づけるか 簡単でストレートな答えは「モデルを持っている人たち」だね。他に誰が得をするかはもっと複雑な質問で、見ていかなきゃね…

人生と同じで、もしかしたら「勝者」はただ行動する人なのかも。 ただ行動する人でも、エラーや失敗に対処できる能力が必要だよね。そこで専門家や一般人がアドバンテージを持つかもしれない。

「専門知識を示す」ことは重要だと思う。「私は聖書学のバックグラウンドがかなりあります。特に新約聖書の重要な作品は読んでいると思ってください。ギリシャ語、ラテン語、ヘブライ語、シリア語を翻訳しないでください。さて、私は知りたいのですが…」こういうのは状況を大きく変えるよね。Cプログラミングで20年以上の経験があるとか、マシンの構成、メモリレイアウト、組み込みシステムについてしっかり理解しているって言うのも同じ。

その通りだね。個人的なコーディングプロジェクトで「私はプロのソフトウェアエンジニアで、これは趣味のプロジェクトだけど、ただの雰囲気でコーディングするつもりはなくて、信頼性のあるソフトウェアを作りたい」と言ったら、エージェントが突然、コードをより堅牢にするためのいろんな提案をし始めたよ。

2010年代には、技術的なギャップがあった場合(例えば、CSSが書けないとか)、スキルのある同僚に頼るか、ネット上に自分の問題の答えがあることを願うしかなかったよね。一般的なCSSのリファレンスやガイド、チュートリアルを読んで、問題を解決できることもあった(「divをセンターにする方法」とか、具体的な問題を検索して、答えをコピペして終わり、みたいな感じで)。その過程で知識も増えたしね。残りの短いブログ記事にはいいポイントがいくつかあるけど、最初の文は、StackOverflowでコピペしてJiraチケットを閉じる開発者の割合をターゲットにしてる感じがする。専門家にならないままね。LLMっぽいAIに委任するのは、その自然な進化だと思う。ただ、彼らがループに入ったままで価値を加えられるかが問題だね。記事の著者は、答えは専門家になることだと言っていて、…「スキルのある同僚に頼るか、ネット上に自分の問題の答えがあることを願う人々」に向けて話している。

AIの使用が、初心者がC++の本やPythonの本、CSSのチュートリアルを読むという基礎的な学びを置き換えるべきだとは思わないな。プロになりたいなら、そういうことはやらなきゃいけないし、強いアマチュアになりたいなら同じくね。でも、多くの人はただ作業を終わらせたいだけなんだ。メカニックになりたいわけじゃなくて、AからBに運転したいだけなんだよね。

ただ、LLMは知っていることの中で最も一般的または平均的なものを基準として共有する傾向があるから、そこから逸脱する(新しい方法を含む)ことには抵抗があるかもしれない。専門家は、LLMが一般的に冗長になりすぎないように、異なる枠組みを提供できるし、それはコード生成や複雑さにも転用できるんだ。

Hacker Newsで議論の続きを見る