世界を動かす技術を、日本語で。

AI記事をきちんと分析してみよう

概要

  • GitHub CEOのブログ記事 とその再投稿の内容に対する批判的考察
  • 統計の誤用や 論理の飛躍、説得力のない主張への指摘
  • ソ連時代の統計操作 を例に、現代のAI議論や企業発表の問題点を比較
  • サンプル数や調査方法の 信頼性欠如、AI導入の実効性に疑問
  • AIの生産性向上主張 から「野心の拡大」への論点すり替えを批判

GitHub CEOのAI推進発言と論理の問題点

  • GitHub CEO Thomas Dohmke によるブログ記事「Developers reinvented」と、その過激な再投稿見出しへの批判
    • 見出し例:「Either Embrace AI or Get Out of This Career」など、 扇動的な要約
  • AIの有用性以前に、記事全体の論理展開や説得力のなさを問題視
    • 科学的テキストの悪例 として紹介

ソ連の統計操作と現代企業発表の比較

  • ソ連時代の公式統計 は現実と大きく乖離し、データの恣意的利用が常態化
    • パーセンテージだけを発表 し、絶対数は秘匿
    • 比較対象年の恣意的選択 (例:最も低迷した1913年比で成長を誇張)
    • 測定基準の変更 (例:小麦生産量を「乾燥重量」から「湿重量」へ変更し数値を水増し)
  • 現代企業の発表 でも、パーセンテージのみの開示や恣意的な比較が見られる場合は、 懐疑的視点の必要性

記事内の画像選択とその意図

  • 記事冒頭の 画像選択 が技術的・現実的考慮に欠ける点を指摘
    • 重力無視の積み木画像Ghibli風画像生成AIの利用 など、技術理解や文化的配慮の不足
    • GitHubのリーダーにふさわしくない資質 と批判

調査の信頼性とAI活用論の問題点

  • 記事内で引用された調査 のサンプル数は22人と極めて少数
    • 統計的代表性の欠如、バイアスや調査方法の不透明さ
    • 参加者選定基準や質問内容、繰り返し実施の有無 など、信頼性を担保する情報が欠落
  • 「AIを受け入れないならこの業界から去れ」発言 も、実際は参加者の一意見に過ぎない
    • 証拠ではなく個人の感想 に過ぎない点を強調

教育論の的外れと現実認識の欠如

  • プログラミング教育における「暗記重視の授業は時代遅れ」 という主張
    • 実際には 暗記教育は既に否定されており、現代的な教育手法とはかけ離れている
    • 現実との乖離 が著しい発言

AI導入効果の論点すり替え

  • AI導入の主な利点 として「時間削減」ではなく「野心の拡大」を挙げ始める論点のすり替え
    • 生産性向上からスコープ拡大(野心)への主張変更
    • ソフトウェア開発における スコープクリープ(要求拡大) は、失敗の主要因であり、推奨すべきものではない
    • AIの導入が生産性やスキル向上に寄与しない なら、現状より悪化していると結論付け

結論と総評

  • GitHub CEOの主張や引用された調査 は、論理的根拠や説得力に乏しい
  • 統計操作や論点すり替え の手法は、科学的・技術的議論において忌避されるべき
  • AIの現実的な効果や導入理由 については、より厳密な検証と誠実な議論が不可欠

Hackerたちの意見

GitHubのトーマス・ドームケによるブログ記事「開発者の再発明」の批評が的を射てるね。引用も含めて:

「多くのコンピュータサイエンス(CS)プログラムは、今やAIがうまく解決できる問題に依存している。」 いや、そんなことないよ。しっかりしたCSプログラムは基本に焦点を当ててるんだから、ホワイトボードでバイナリツリーを反転させる能力なんて関係ない。 「線形代数や離散数学を『赤ちゃんのための初めてのLLM』や『ヒップスターのためのプロンプトエンジニアリング』みたいなコースに置き換えるのは、CSにgitの使い方を教えるコースを提案するのと同じくらい中身がないよ。」

「ホワイトボードでバイナリツリーを反転させる能力なんて関係ない。」 2つの変数を入れ替えたり、データ構造をトラバースすることが基本なんだよ。

大学のコンピュータサイエンスは、実際にプロのソフトウェア開発者が日常的に使っているスキルとはかなりズレてるよね。基本を教えるのはいいけど、初出勤の日には、学んだこととは全く違う社内プロセスに従うよう求められるから、オンラインで独学しておけばよかったって感じるだろうね。

学校では、計算機が完璧になって何十年も経つのに、手動で数学を理解させようとするんだよね。魔法のような機械が理解できない答えを出すのは良くないってわかったから、いつ、なぜその答えが間違っているのか理解する能力がなくなっちゃうんだ。

残念ながら、著者自身の統計に対する理解が不十分なんだ。例えば、サンプルサイズは人口のサイズとはあまり関係がなく、効果のサイズには大いに関係がある。化学物質が致命的であることを示すためには、サンプルサイズが1でも十分なことが多いんだ。効果の大きさに対して大きなばらつきがある場合に、人口が関係してくる。ばらつきを研究するには、人口の良い統計的サンプリングが必要だけど、ここでもサンプルサイズは人口サイズによって決まるわけじゃないんだよ。

「必要なサンプルサイズは、たったの1000人で278人になることがわかった。」 億単位の人々では、この数が385人に変わるのは面白いね。あまり変わらないけど。22人のサンプルサイズで(偏りのないサンプルを前提にすると)、基準を満たす人の割合を推定する場合、誤差範囲は22%になるんだ。悪いけど、ちゃんとやればまだ洞察が得られるかもしれない。

これは、最初は直感に反するかもしれないけど、インタビューした多くの開発者がトップティアのサブスクリプションを払っているという観察を説明するのに役立つ。偏りのないサンプルとは言えないね。

サンプルサイズの要件は、主に望ましい信頼水準と誤差の範囲によって決まるもので、人口のサイズとはあまり関係がない。だから、1,000人と10億人の間で必要なサンプルがほとんど変わらない理由がわかるよね。

「その人は、物事が正しいかどうか、あるいは実際に機能するかどうかなんて気にしない。見た目が『なんとなく妥当』であればいい。」 これ、毎回LinkedInのフィードでAIアートを見るたびに思うわ。

今、すごく敏感になってる。AIの食べ物の写真を使ってるレストランを見ると、そこでは食べたくなくなる。基本的なことを嘘ついてまでビジネスしたいなんて思わないよね。

これってただのデジタル版の手を振ってごまかすやつじゃない?仮定をチェックしない人たちが弱いソフトウェアの納品の主要な原因になってるのはずっと前からだよね。

「その人は、物事が正しいかどうか、あるいは実際に機能するかどうかなんて気にしない。見た目が『なんとなく妥当』であればいい。」 これがLLMブースティズムの根本的な指針のようだね。出力が実際に重要じゃなくて、たくさんあればいいっていう考え方。ほんとに理解できない態度だよ。

いつもAIが生成した行数の割合を宣伝してるけど、生成を常に挿入するツールを使わされると、その数字は高くなる一方なんだよね。実際の利益がゼロかマイナスでも。AIツールが動かない30行の関数を生成して、壊れた3行のロジックをテストして修正するのに時間を使うことになる。ほとんどのコードはAIが生成したものだけど、全然時間を節約できてないんだよね。

クリプト詐欺師たちはみんなAIにシフトしてる。基本なんて関係ない、次の資金調達のために必要なことを言えばいいだけ。

それなのに、この中古車販売員のようなやつが、みんなにGitHubで自分の作品をホストさせて、無料でCopilotの機械に餌を与えてるんだから、結局自分たちに売り返されるっていうのが面白いよね。

本当に理解しがたい態度だね。でも、そうじゃないんだ。私たちはポスト真実社会に生きていて、これが自然に生まれる根本的なニヒリズムなんだ。

LLMブースティズムの根本的な指導イデオロギー それはFOMO資本主義のイデオロギーと同じだよね:= ビリオネアのクソ野郎たちが言ってるから、真実に違いない = 株式評価は数兆ドル、巨大な価値があるに違いない = 株式市場は好調だから、社会民主主義の原則についての懸念は非愛国的だ = 乗り遅れたら、クリプト通貨の詐欺で失った以上にひどい目に遭うぞ。

「できるだけ少ない努力で高い給料をもらいたい」っていうのは、全然理解できる考え方だよね。でも、長期的には、LLMから一番利益を得る人たちが、実はLLMに簡単に置き換えられちゃうほど弱いっていう問題があるんだ。

GitHub(またはそのCEO)がAIの素晴らしさについて完全にゴミみたいな記事を出すのはこれが初めてじゃないし、最後でもないよ。

この分析は不完全だよ。どれだけの人、特にどれだけのビジネスオーナーが、その記事やLLMのマーケティング全体が広める嘘や真実でないことを信じているのか、分析を続ける必要がある。あの記事は開発者向けじゃなくて、ビジネスオーナーやその管理職、投資家向けなんだ。彼らが信じたら、それを強制しようとするよ。これは本当に深刻な、私たちの業界を壊すようなバカな論理だ。

AIのハイプサイクルでいつも見落とされがちなのは、実際に情報源で記事を精査することなんだよね。多分、SNSの時代だからジャーナリズムがあまりないせいかも。サム・アルトマンやダリオ・アモデイ、トーマス・ドームケなんかの言ってることには全く興味がないよ。だって、彼らは明らかに何かを売りたいだけだから。

宮崎駿の引用が文脈を無視されて変えられてるんだよね。「生命そのものへの侮辱」って言ったのに、「芸術そのものへの忌まわしさ」って言われてる。文脈は、ゾンビの不気味なAIアニメーションについてだった。彼はその技術を使わないって言ってたけど、その理由は下品なデモを見たからだと思われる。「この手のものを作る人は、痛みが何か全く分かってない。」