いくつかの「懸念」を分けて考えると、もう少し扱いやすくなるかもね。1. CUDAの学習 - フレームワーク、ライブラリ、高レイヤーのラッパー。これは時代やトレンドによって変わるものだよ。2. 高性能コンピューティングのアプローチを学ぶこと。GPUやNvlinkインターフェースはNvidia特有だけど、マッシブパラレルな分散コンピューティング環境での作業は、HPCアーキテクチャ全般に通じる知識の一部だよ。3. アプリケーションの具体的な内容。もし君がトランスフォーマーに興味があるなら、TorchやTensorFlowから始めて、現在の高レベルの抽象化を利用して、基礎にまで学びを深めるのもアリだと思う。今は上記のことにはあまり関わってないから、具体的には言えないけど、CUDAをマスターしたいなら、マッシブパラレルプログラミングの仕組みを学ぶことが、転用可能なスキルにつながる基盤になると思うよ。

Leela Chess ZeroのCUDAコードを見たけど、結構理解しやすかったよ。ただ、LeelaがトランスフォーマーじゃなくてDCNNを使ってた頃の話だけどね。DCNNはかなりシンプルで、数年前に見たfast.aiの動画で説明されてたから、Leelaのコードをナビゲートするのはそんなに難しくなかった。トランスフォーマーはもっと複雑で、勉強したいと思ってるけど、まだ理解する時間が取れてないんだ。CUDA自体はC++からの小さな派生に過ぎないから、C++を使ったことがあれば言語自体は大したことないよ。でも、CUDAでプログラミングして雇われたいなら、実際にはAI関連の実装を求められることが多い（ゲーム開発じゃない限りね）。AIプログラミングはCUDA自体よりもずっと広くて深いテーマだから、しっかり勉強してハッキングする時間を取る覚悟が必要だよ。でも、そうすれば需要が高い状態になると思う。前述の通り、fast.aiの動画は素晴らしい入門になるよ。ゲームの場合は、3Dグラフィックスが関わってくるから、最近はまた別の深い世界だね。昔少し知ってたけど、今はすごく進化してて、どこから始めればいいのか全く分からないよ。

まだ試してないけど、良さそうだね： https://leetgpu.com/

CUDAを学ぶ個人的な経験をシェアするね。注意：これは実際に体系的な学習法だとは言えないし、学術的な仕事向けだよ。博士課程の一環でCUDAを学ぶプロジェクトに割り当てられたんだけど、研究グループにはCUDAの経験者が誰もいなかったんだ。まずは標準のNVIDIAコース（Accelerated Computing with CUDA C/C++の入門、Python版もあるよ）から始めた。このおかげで概念や基本的なアイデアを理解できたけど、その後はほとんど試行錯誤で学んだと思う。特定のことに関するオンラインチュートリアルや本も試したけど、いつもどこかで非推奨の関数があったり、APIの変更で古くなったりしてた。要するに、GPUが変わってしまって、今は注意が必要だよ。開発しているものと互換性のないGPUバージョンを使ってしまうかもしれないから、両方で動くようにしないといけない。CUDAを学ぶのは、痛みを伴う挑戦で、「compute-sanitizer」やNsightを通過することになると思う。ほとんどの時間は、思ったよりも遅く動いている理由をデバッグするのに費やされるからね。ゆっくり進めて。CUDAを使わずにできる簡単なプロジェクトを選んで、それをCUDAに移植してCPUとベンチマークを取って、さまざまな側面を最適化してみて。役立つアドバイスは、最初から最適化を考えないこと。まずは正しく動くことを目指して、その後に最適化すること。動作が遅いけど正常に動くカーネルの方が、メモリを壊す速いカーネルよりも良いからね。

これで数ヶ月は忙しくなるはずだよ： https://www.gpumode.com/ リソースとDiscordコミュニティ 本：Programming massively parallel processors NVIDIA CUDAのドキュメントも非常に充実してるよ https://github.com/srush/GPU-Puzzles

これを使って高校生に教えたことがあるよ。欲しいものを得るには十分じゃないかもしれないけど、基礎を固めるにはいいと思う。そこから自分で進めるしね。https://youtu.be/86FAWCzIe_4?si=buqdqREWASNPbMQy

2008年にNVidiaのcudacontestに参加した非常に初期のCUDAプログラマーとして、インドから提出された唯一のエントリーの一つ（自称ではないけど）として、私が従った方法を保証できるよ。 - NVidiaのCUDAプログラミングガイドを調べる - NVidiaのCUDAプログラミング本をdeveloper.nvidia.com/cuda-books-archiveのリンクから探す - 既存の実装を基に小さなプログラムを作り始める（強いC実装の知識が必要だから、必要なら復習してね） - 必要なツールチェーンやコンパイラをインストールして、遊ぶためのハードウェアがあると仮定する - CUDAプロジェクトのGithubリンクを読む。コードを読んで、今ならLLMを使って必要な形でコードを説明させることができるよ - より小さくて並列なプログラムを作り始めるなどなど。1、2ヶ月でCUDAプログラムを書くのに十分な知識が得られるはずだよ。あなたのスキルや経験レベルはわからないけど、2007/08年よりも今はたくさんのリソースがあるからね。6〜8週間の学習計画を作れば、すぐに飛び立てるよ！役に立つといいな。気軽にコメントしてくれれば、できる限りガイドを共有するよ。

プレフィックススキャンはGPUプログラミングの素晴らしい入門だよ。https://developer.download.nvidia.com/compute/cuda/2_2/sdk/w... これをやった後は、自分がこういう仕事を楽しめるかどうか分かるはず。もし楽しめるなら、適度に最適化されたGEMMをやってみて、それからFlashAttentionの論文を追って、彼らがやってることの基本的なバージョンを実装してみて。

C++に経験があるなら、基本的にすぐに飛び込めるよ。このYouTubeシリーズがすごく役に立ったよ。https://www.youtube.com/playlist?list=PLxNPSjHT5qvtYRVdNN1yD... この動画を見た後、私たちのデータ分析パイプラインのボトルネックだったカーネルのタイル版を実装できて、パフォーマンスが2倍以上向上したんだ。学ぶことはまだまだあるけど、この動画シリーズは素晴らしいスタート地点だと思う。

お金のためにやってるなら、HPCや数学的なことは忘れた方がいいよ。アプリケーション分野で博士号を持ってない限り、誰も相手にしてくれないから。たとえCUDAを120ワード/分で書けてもね。本当にお金になるのは、PTX、nvcc、cuobjdump、Nsight Systems、Nsight Computeをマスターすることだよ。CUTLASSは探求するのに良いオープンソースのコードベースだから、ここから始めてみて。https://christianjmills.com/series/notes/cuda-mode-notes.htm... そして最も重要なのは、HNを離れて、リアルなコーダーがいるDiscordのGPUモードに参加することだよ。https://discord.com/invite/gpumode