世界を動かす技術を、日本語で。

OpenAIに参加した理由

概要

  • AIデータセンター の急速なコスト増大と環境負荷への危機感
  • OpenAI に参加し、ChatGPTのパフォーマンス最適化に注力
  • ChatGPTが一般利用者にとって 不可欠なツール となっている現実の実感
  • Netflix時代 の経験と重なる大規模・高速なエンジニアリング課題
  • OpenAIでの新たな挑戦と、 パフォーマンスエンジニアリング の進化への意欲

AIデータセンターのコストと環境負荷への危機感

  • AIデータセンター のコスト増加が歴史上類を見ない規模
  • 単なるコスト削減だけでなく、 地球環境保護 の観点も重要
  • パフォーマンスエンジニアリングの 従来手法だけでは不十分 との認識
  • より大きな最適化を、より速く見つけるための 新しいエンジニアリング手法 の模索

OpenAI参加の動機と現場での実感

  • OpenAI に参加し、ChatGPTパフォーマンス改善に直接取り組む決意
  • 市場規模と成長速度が 想像を超えるレベル
  • 業界の専門家や友人からの OpenAI推薦
  • AIの一般利用に懐疑的だったが、 日常でのChatGPT利用者 (美容師Miaなど)との会話で認識が一変
    • MiaはChatGPTを日常的に活用し、 ブランド認知も高い
    • 旅行中の友人とのつながり維持や、 記憶機能 の活用例
  • 他の職業(不動産業者、税理士、養蜂家)も ChatGPTを業務に活用
  • 身近な人々 がChatGPTを積極的に利用している現実

OpenAIでのエンジニアリング環境と仲間

  • Netflix時代 に似た大規模かつ自由度の高いエンジニアリング環境
  • GPUだけでなく、システム全体 にわたる多様な課題
  • 業界屈指の 優秀なエンジニア が集結
    • 旧知の同僚(Netflix時代のVadimなど)との再会
    • 既存のパフォーマンスエンジニア たちも成果を出している
  • 自分は「最初」ではなく「 最新の一員」として参加

幼少期の夢とAIへの情熱

  • 英国SFドラマ「 Blake's 7」のOrac AIに憧れ
    • Oracは全宇宙のコンピュータと通信できる 超知能AI
  • 学生時代に 自然言語処理ソフト を開発しようと試みるも、当時の技術的制約で断念
  • ChatGPTでOracのような カスタム応答 を実現し、夢が一部叶う
  • 「Blake's 7」リブートのニュースにも 驚きと喜び

OpenAIでの現在と今後

  • OpenAIのTechnical Staff としてシドニーからリモート勤務
  • ChatGPTパフォーマンスエンジニアリングチーム に所属
  • 最初のプロジェクトは マルチ組織横断のパフォーマンス改善戦略
  • Codex 等のAIツールも活用
  • eBPF、Ftrace、PMCなどの パフォーマンス解析技術 も導入予定
  • OpenAIはエンジニアを 積極採用中

転職活動の振り返りと人とのつながり

  • 転職活動では 26回の面談・会議 を実施
  • 業界各社の エンジニアリング事情 を詳細に把握
  • 人とのつながり や、知名度のあるプロダクトに関わる喜びを再確認
  • 役割、チーム、 報酬 なども重視
  • Linux Plumber's Conferenceで多くの人から 進路を尋ねられ、本記事執筆を決意

日常に根付いたChatGPT利用の再確認

  • 転職後、再びMiaに ChatGPT利用状況 を確認
  • Miaは「 24時間365日」使用中と自信満々に回答
  • 本記事は 個人的な思い から執筆、Mia本人も掲載を快諾

このように、 AIデータセンターの未来人々の日常に根付くAI の両面から、OpenAIでの新たな挑戦を力強く語る内容。

Hackerたちの意見

...コスト削減だけじゃなくて、地球を守ることでもある この発言には何か引っかかるものがあって、理由がよくわからない。お金のためだけに参加したわけじゃないよね?(追記:クールな問題もあるけど)

そうだよね、BGが電力消費を抑えるなんて考えるのはすごくナイーブだよね、笑。OpenAIはいつもハードウェアをフル稼働させるだろうし。BGが計算リソースを解放したら、新しい作業がそれを埋めるだけだよ。確かに「少ないもので多くを達成できれば、データセンターは必要なくなる」って反論もできるけど、投資からもっとお金を引き出せる会社が成長しないと思う人がいるの? それに、この問題領域から生まれる新しいイノベーションを楽しみにしてるよ。BGは難しいテーマを親しみやすく、消化しやすい形で提示するのが得意だし、今は無限の資金があってクリエイティブになれるみたい。

AIの流れは君がいてもいなくても進んでいくから、参加して状況を改善できるなら、やってみたら?

若い頃、GoogleやTeslaのような会社が人々の生活を良くするために技術を作り、使う善の力だと思ってたのを思い出す。OpenAIやこれらのLLM企業が世界を良く変えてくれるよね?短期的な金銭的利益のために地球を焼き払うことはないよね?年を重ねるうちに、自分がナイーブだったことに気づいた。テックジャイアンツが人々の生活を良くするのは偶然であって、それが彼らの目標じゃないんだ。

リソースの使用量を25%減らしても、AIデータセンターはまだまだ大きなリソースの無駄遣いだと思う。

おそらく「世界をより良い場所にする」っていうのが、業界で使われすぎて、テレビ番組にまでなっちゃったからだと思う。仕事に情熱を持つのはいいことだし、しっかり報酬をもらうのも悪くない。でも、母テレサみたいだと思わせる必要はないよね。

人間の偉業は常に大きさで測られてきた。大きければ大きいほど良い。今まではね。でも、ナノテクノロジーやスマートカーが登場して、小さいことが新しい大きさになった。これから数ヶ月で、Hooliは世界で最も洗練された圧縮ソフトウェアプラットフォーム「Nucleus」を提供する。音声や動画ファイルを小さくできれば、癌も小さくできるし、飢餓やエイズも小さくできる。— ギャビン・ベルソン

きっと、今回は資本主義の外部コストが、私ができるだけお金を稼ぐことで解決されるだろう。

HBOの「Silicon Valley」シリーズの「世界をより良い場所にする」というナンセンスのバージョン。ブログ記事はOpenAIのマーケティングに騙されている。OpenAIはRAMのコストを膨らませ、消費者市場からRAMチップの提供者を排除することで、世界を悪化させている。意味のないタスクのために計算に浪費される電力も言うまでもない。少なくともClaudeのようなものを使えば、数時間で数ヶ月、場合によっては数年のエンジニアリング努力とリソースを節約できる。

サム・アルトマンは、ほとんどの監視資本主義者たちと同じく絶滅推進派だよ。彼はマインドアップロードの会社に投資していて、彼が実現しようとしているシンギュラリティを「生き残る」価値があるのは金持ちだけだと信じてる。人間が絶滅するのは地球にとって良いことかもしれないけど、何を支持してるのかちゃんと言ってほしいよね。

データセンターの運営者を、最適化されていない計算に伴う無駄の責任を問うなら、彼らが最適化に成功した場合は評価されるべきじゃないかな。

彼女は遠くの街に旅行中の友達が心配で、チャットできる時間帯が少なかったけど、ChatGPTにいつでもその街のことや友達がやってる観光活動について話せたから、つながりを感じられたみたい。メモリ機能も気に入ってて、まるでその街に住んでる人と話してるみたいだって。これってちょっと悲しいよね。AIって本当にこんなことのためにあるの?それに、この用途にはギガワットもいらないと思う。小さなローカルモデルか、小さなモデルのバッチ推論で十分だよ。

すごくいいよ!現地に行ったときに、現地の言語で人と話してくれるんだ。自分の考えを説明するために使ったこともあるよ。テレビで旅行番組を見たり、旅行雑誌を読むのはもっと悲しい。

誰も話したがらないような、すごくオタクっぽいことやマイナーなことを話すために使ってる。

そもそもこの用途にはギガワットも必要ないよ。小さなローカルモデルか、小さなモデルのバッチ推論で十分だと思う。自分は時代遅れかもしれないけど、友達に何をしてるのか聞くためにメールする方が、LLMを使って想像するよりもいいと思う。非同期の人対人のコミュニケーションは、かなり解決された問題だよね。

小さなローカルモデルか、小さなモデルのバッチ推論で十分だと思う。あと、SignalやMatrix、WhatsApp、{好きなチャットアプリ}でもいいよね。もうテキスト送ってるなら、それでいいじゃん。

みんなが24時間体制でサポートしてくれるパーソナルアシスタントを持てるほど裕福じゃないのは悲しいよね。クルーズ船よりは役に立ちそうなのに、あっちは存在してるし。

何人かに一度に答えると、投稿で報酬について触れたけど、詳しくは書かなかったから見逃しやすいかも。もちろん報酬は大事だけど、他の要素も同じくらい重要だよね。AIのデータセンターのコストについてニュースで見ない日はない気がするし、何かできることがあると思う。

業界全体でパフォーマンス向上が活用できるといいよね。みんなが恩恵を受けられるし。でも、OpenAIが他社に対してアドバンテージを保つために、いくつかのことを秘密にしたいっていうのも、全然信じられない話じゃないよね。

この環境でリスクを取って、自分の経験をシェアしてくれてありがとう。 [環境: みんなが情熱的な意見で攻めてくるからね]

髪を切った後、街に立ってこのことがどれだけ大きなことか、どれだけ多くの人にとってこの技術が必要不可欠な助けになっているか、パフォーマンス向上をリードして地球を救う手助けができるかを考えた。ブレンダン。まずは新しい仕事おめでとう。でも、みんなに言うのは簡単だよね、お金や報酬、ストックオプションのことだって。君は慈善団体に参加するわけじゃないし、地球を救うためにいるわけでもない。この会社は、理解できない1兆ドルの評価で公開市場に出ようとしてるんだから。読者を侮辱しないでほしい。

あなたのコメントに返信して、反応がもらえることを期待してるよ。ブログ記事で、あなたはこう言ってたよね:> 取り組むべき面白いことがたくさんあって、やったことがあることもあれば、まだやったことがないこともある。まだやったことがないことは何か、教えてもらえる?

またお金のことしか考えてないってコメントがたくさんあるけど、報酬は大事な要素だけど、そういう風に見られるのはちょっと違うと思う。過去20年の自分の活動を忘れちゃってるよね。最低賃金程度で教科書を書いて、何千時間も費やしてきたのは、同じような境遇の人を助けたいからなんだ。自分は何もないところから来て、テックミートアップやカンファレンスにもアクセスできなかったから、本がより良い仕事への入り口だった。オープンソースで技術を公開して、他の人が何百万も稼げるようになったし、多くのスタートアップの基盤にもなってる。リモートワークの先駆けにもなって、他の人の良い手本になれるように頑張ってる(前にも書いたことがあるけど)。だから、過去数十年にわたって多くのことを気にかけてきたっていうのは、結構知られてると思うよ。

自分も何かできる気がするけど、誰も自分に何かをやらせてくれない。

内部から修正するのが他の問題でうまくいったことはあるの? いや、そんなことはないよ。そう思い込んでる人もいるけど…私たちにはうまくいくかもね。

これ読んで、グレッグ。いつも君の仕事や本をコメントに入れるのは俺が最初なんだけど…この会社は、最初のチャンスでオープンリサーチをやめて、オープンソースへの貢献を切って、利益追求に転換したんだ。倫理委員会も廃止して、反対するエンジニアを全員排除した。何かのために良いことをしているなんて言い訳は通用しないよ。自分の期待を他人に押し付けるべきじゃないけど、ちょっとがっかりしてる。最初の投稿から成長してきた彼が、自分の意思で悪い機械のために働いてるのを見てる感じだ。やりたいことをやればいいけど、この悲しいニュースについてはそう感じてる。

こんにちはブレンダン、初めてのリスナーで初めてのコールです。コメントから全体のトーンを推測すると、ここにいる人たちは、論理的な思考をする人からの論理的誤謬に苦しんでいるように思える。> どうやってパフォーマンス向上をリードし、地球を救う手助けができるか。表面的な問題は、パフォーマンス向上がエネルギー使用の削減(ひいては大気中の熱の放出の削減)にはつながらないということ。むしろ、パフォーマンス向上は既存のハードウェアからより効果的な計算を引き出すことを意味する。パフォーマンス向上がハードウェアのより良い活用に結びつくなら、それは会社にとってより多くのお金を意味し、より多くのGPUを購入できるようになる。無限に続くね。私の立場は、これはただのビジネスがやることだってこと。直接的・間接的な悪影響を抑えるためには規制が常に必要だった(石油会社が最も明白な例)。AIが本質的に違うとは思えない。パフォーマンスの効率が地球にとっての純利益に結びつく別の視点があるのかな?

私は毎日LLMを使っていて、生活の一部になってる。あなたの仕事がLLMやAIをもっと安く、もっと豊富にする手助けができることを本当に願ってる。見つけた最適化をもっとオープンに共有できる方法があれば素晴らしいね。効率の改善が共有されることで、エコシステム全体が利益を得るから。これからどうなるか楽しみにしてるし、ネガティブな意見に影響されないでね。

ヘアスタイリストのミアが仕事を始めて、さりげなく「何をしているの?」って聞いてきた。「インテルのフェローで、データセンターのパフォーマンスに取り組んでるんだ。」沈黙。彼女が知らないなんて、どういうこと?

メインのデバイスがスマホの人にとっては、全然信じられない話じゃないよね。テクノロジーのバブルの外でのやり取りは、目からウロコだし。逆に、美容師が超人気のハサミのメーカーや他の道具のブランドを教えてくれたかもしれないけど、そんなの聞いたことないよね。

この記事の部分はちょっと気持ち悪かったな。彼はミアに印象を与えたかったみたいだけど、彼女が反応しなかったら、仕事を変えなきゃって気づいたみたい。BGやeBPFは素晴らしいけど、この記事は中年危機みたいに感じた。

この文章、自己満足がすごくて読むのが辛い。ちょっと流し読みしちゃったよ。ごめん!このスタイルは私には合わないな。

これはブログ記事であって、記事じゃないよ。出来事のナラティブであって、トピックについての面白い書き方じゃない。

これが初めてじゃないよね。彼が前の会社を辞めるときのブログを見てみて。自己評価が高すぎる感じがする。

ブレンダン、あなたの本と仕事の大ファンだよ。OpenAIに参加することに問題はないし、頑張ってほしい!でも、今回の分析はちょっと違うんじゃないかな。もしOpenAIがX(ギガ)ドルを動員してYのエネルギーを買うことができるなら、あなたの仕事はXやYを減らすわけじゃなくて、与えられたエネルギーで「トークン」(または「AIの単位」)をもっと生産する手助けをするだけだと思う。だから、ある意味ではOpenAIのツールをより良く、より効果的にする手助けをしてるけど、リソースの使用量を減らす助けにはなってないよ。https://en.wikipedia.org/wiki/Jevons_paradox

トークンをもっと燃やすことで、もちろん、より広範な採用が進んで、AIが私たちの現実にもっと深く根付いていくんだよね。

同じこと言おうと思ったけど、彼はもうそれを知ってると思う。賢い人は自分を納得させるのが得意だからね。

いつかOpenAIが本物の会社(上場して)になったら、顧客からお金を取って会計士を雇って利益を上げるような、そういう会社ね。「コスト」の面で下方圧力がかかるかもしれない。トレーニングの需要は尽きることがないだろうけど、「ねえチャット、バスケのスコア見てくれる?」みたいなエネルギーコストは下がるかもね。

AI業界やシリコンバレーのテック全般は、人々の自己イメージを持ち上げることで才能を引き寄せるパターンがあるんだよね。だから、そういう人たちが下流の害について正直に考えるのは心理的にすごく難しい。

ヘアスタイリストがChatGPTを使う理由がかなりディストピア的だったのが面白かった…新しい雇い主を喜ばせようとしてるみたいだね。それでも、パフォーマンスの仕事は尊敬してるし、似たようなことを勉強してる。HPCの仕事に就けるといいな。

こんな現実からかけ離れた文体が、普段は素晴らしいシステム思考を持つ人から出てくるのは衝撃的だ。これは私がシステムエンジニアとして最悪の悪夢だね。インテルのような場所での官僚主義を何年も乗り越えた結果、政治や自己宣伝を技術的真実より優先するようになってしまうこと。これがただのPR反応で、実際に地に足がついていないわけではないことを願ってる。

個人的には、実務に専念しているエンジニアたちが、本当に「脳腐れ」のリスクがあると思う。50歳を超えても、経営陣や役員が何に動機づけられているかを理解できず、自分自身(またはコンピュータのような非常に予測可能な存在)の心をモデル化することができないことがある。実際、政治はある意味で最も大きく、最も複雑な動的システムであり、したがって最も大きな「エンジニアリング」チャレンジを提起する。必然的に自己のプロモーションやアイデア、特定の方向性を推進することが含まれ、実際に一部の人にとってはポジティブな影響を与え、他の人にはネガティブな影響を与える。

お金。読んでくれてありがとう。私のニュースレターに登録して、私の作品やAIに関する最新情報をチェックしてね。