世界を動かす技術を、日本語で。

OpenAIに参加した理由

概要

  • AIデータセンター の急速なコスト増大と環境負荷への危機感
  • OpenAI に参加し、ChatGPTのパフォーマンス最適化に注力
  • ChatGPTが一般利用者にとって 不可欠なツール となっている現実の実感
  • Netflix時代 の経験と重なる大規模・高速なエンジニアリング課題
  • OpenAIでの新たな挑戦と、 パフォーマンスエンジニアリング の進化への意欲

AIデータセンターのコストと環境負荷への危機感

  • AIデータセンター のコスト増加が歴史上類を見ない規模
  • 単なるコスト削減だけでなく、 地球環境保護 の観点も重要
  • パフォーマンスエンジニアリングの 従来手法だけでは不十分 との認識
  • より大きな最適化を、より速く見つけるための 新しいエンジニアリング手法 の模索

OpenAI参加の動機と現場での実感

  • OpenAI に参加し、ChatGPTパフォーマンス改善に直接取り組む決意
  • 市場規模と成長速度が 想像を超えるレベル
  • 業界の専門家や友人からの OpenAI推薦
  • AIの一般利用に懐疑的だったが、 日常でのChatGPT利用者 (美容師Miaなど)との会話で認識が一変
    • MiaはChatGPTを日常的に活用し、 ブランド認知も高い
    • 旅行中の友人とのつながり維持や、 記憶機能 の活用例
  • 他の職業(不動産業者、税理士、養蜂家)も ChatGPTを業務に活用
  • 身近な人々 がChatGPTを積極的に利用している現実

OpenAIでのエンジニアリング環境と仲間

  • Netflix時代 に似た大規模かつ自由度の高いエンジニアリング環境
  • GPUだけでなく、システム全体 にわたる多様な課題
  • 業界屈指の 優秀なエンジニア が集結
    • 旧知の同僚(Netflix時代のVadimなど)との再会
    • 既存のパフォーマンスエンジニア たちも成果を出している
  • 自分は「最初」ではなく「 最新の一員」として参加

幼少期の夢とAIへの情熱

  • 英国SFドラマ「 Blake's 7」のOrac AIに憧れ
    • Oracは全宇宙のコンピュータと通信できる 超知能AI
  • 学生時代に 自然言語処理ソフト を開発しようと試みるも、当時の技術的制約で断念
  • ChatGPTでOracのような カスタム応答 を実現し、夢が一部叶う
  • 「Blake's 7」リブートのニュースにも 驚きと喜び

OpenAIでの現在と今後

  • OpenAIのTechnical Staff としてシドニーからリモート勤務
  • ChatGPTパフォーマンスエンジニアリングチーム に所属
  • 最初のプロジェクトは マルチ組織横断のパフォーマンス改善戦略
  • Codex 等のAIツールも活用
  • eBPF、Ftrace、PMCなどの パフォーマンス解析技術 も導入予定
  • OpenAIはエンジニアを 積極採用中

転職活動の振り返りと人とのつながり

  • 転職活動では 26回の面談・会議 を実施
  • 業界各社の エンジニアリング事情 を詳細に把握
  • 人とのつながり や、知名度のあるプロダクトに関わる喜びを再確認
  • 役割、チーム、 報酬 なども重視
  • Linux Plumber's Conferenceで多くの人から 進路を尋ねられ、本記事執筆を決意

日常に根付いたChatGPT利用の再確認

  • 転職後、再びMiaに ChatGPT利用状況 を確認
  • Miaは「 24時間365日」使用中と自信満々に回答
  • 本記事は 個人的な思い から執筆、Mia本人も掲載を快諾

このように、 AIデータセンターの未来人々の日常に根付くAI の両面から、OpenAIでの新たな挑戦を力強く語る内容。

Hackerたちの意見

...コスト削減だけじゃなくて、地球を守ることでもある この発言には何か引っかかるものがあって、理由がよくわからない。お金のためだけに参加したわけじゃないよね?(追記:クールな問題もあるけど)

そうだよね、BGが電力消費を抑えるなんて考えるのはすごくナイーブだよね、笑。OpenAIはいつもハードウェアをフル稼働させるだろうし。BGが計算リソースを解放したら、新しい作業がそれを埋めるだけだよ。確かに「少ないもので多くを達成できれば、データセンターは必要なくなる」って反論もできるけど、投資からもっとお金を引き出せる会社が成長しないと思う人がいるの? それに、この問題領域から生まれる新しいイノベーションを楽しみにしてるよ。BGは難しいテーマを親しみやすく、消化しやすい形で提示するのが得意だし、今は無限の資金があってクリエイティブになれるみたい。

AIの流れは君がいてもいなくても進んでいくから、参加して状況を改善できるなら、やってみたら?

若い頃、GoogleやTeslaのような会社が人々の生活を良くするために技術を作り、使う善の力だと思ってたのを思い出す。OpenAIやこれらのLLM企業が世界を良く変えてくれるよね?短期的な金銭的利益のために地球を焼き払うことはないよね?年を重ねるうちに、自分がナイーブだったことに気づいた。テックジャイアンツが人々の生活を良くするのは偶然であって、それが彼らの目標じゃないんだ。

リソースの使用量を25%減らしても、AIデータセンターはまだまだ大きなリソースの無駄遣いだと思う。

おそらく「世界をより良い場所にする」っていうのが、業界で使われすぎて、テレビ番組にまでなっちゃったからだと思う。仕事に情熱を持つのはいいことだし、しっかり報酬をもらうのも悪くない。でも、母テレサみたいだと思わせる必要はないよね。

人間の偉業は常に大きさで測られてきた。大きければ大きいほど良い。今まではね。でも、ナノテクノロジーやスマートカーが登場して、小さいことが新しい大きさになった。これから数ヶ月で、Hooliは世界で最も洗練された圧縮ソフトウェアプラットフォーム「Nucleus」を提供する。音声や動画ファイルを小さくできれば、癌も小さくできるし、飢餓やエイズも小さくできる。— ギャビン・ベルソン

きっと、今回は資本主義の外部コストが、私ができるだけお金を稼ぐことで解決されるだろう。

HBOの「Silicon Valley」シリーズの「世界をより良い場所にする」というナンセンスのバージョン。ブログ記事はOpenAIのマーケティングに騙されている。OpenAIはRAMのコストを膨らませ、消費者市場からRAMチップの提供者を排除することで、世界を悪化させている。意味のないタスクのために計算に浪費される電力も言うまでもない。少なくともClaudeのようなものを使えば、数時間で数ヶ月、場合によっては数年のエンジニアリング努力とリソースを節約できる。

サム・アルトマンは、ほとんどの監視資本主義者たちと同じく絶滅推進派だよ。彼はマインドアップロードの会社に投資していて、彼が実現しようとしているシンギュラリティを「生き残る」価値があるのは金持ちだけだと信じてる。人間が絶滅するのは地球にとって良いことかもしれないけど、何を支持してるのかちゃんと言ってほしいよね。

データセンターの運営者を、最適化されていない計算に伴う無駄の責任を問うなら、彼らが最適化に成功した場合は評価されるべきじゃないかな。

彼女は遠くの街に旅行中の友達が心配で、チャットできる時間帯が少なかったけど、ChatGPTにいつでもその街のことや友達がやってる観光活動について話せたから、つながりを感じられたみたい。メモリ機能も気に入ってて、まるでその街に住んでる人と話してるみたいだって。これってちょっと悲しいよね。AIって本当にこんなことのためにあるの?それに、この用途にはギガワットもいらないと思う。小さなローカルモデルか、小さなモデルのバッチ推論で十分だよ。

Hacker Newsで議論の続きを見る