いつも学生には、高次元で直感がどう崩れるか（スパイキーさや体積など）を説明してから始めるんだ。それがモデルのフィッティングや最適化空間の探索にどう影響するかもね。これは現代のデータサイエンスにとって非常に重要な基礎で、確率的勾配降下法や高次元モデルについての直感を与えてくれる。で、この本はまさにそのことから始まるんだ。すっかりハマっちゃった。シェアしてくれてありがとう！これも見てみてね、古いハッカーニュースのスレッドだよ: https://news.ycombinator.com/item?id=45116849 A Random Walk in 10 Dimensions (2021)

データサイエンスって、2010年代に流行り始めてからずっとオーバーロードされた用語だよね。一番、いや、最も価値のある定義の一つは、データを見て意思決定できることだと思う。チーム全体（良いICのような仕事の安定性）や会社全体（めっちゃリッチ）に関わる範囲でね。これを身につけるのは本当に難しいけど、問題を解決したり考えたりするのが好きなら学べると思う。例えば、線形回帰の使い方を知っていればかなり進めるよ（線形回帰の係数は線形代数を使った決定論的アルゴリズムで求められるけど、線形の期待値や定数、分散の仮定を知っている方がもっと役立つし、どの確率モデルを使ってランダム変数を定義するかの知識も重要だよね。これってベルヌーイ事象なのかポアソンなのか）。サンプリングの方法（無限のサンプル数がある場合にリザーバサンプリングを使うとか、長期間のクラウドソース調査でキャリブレーションのためにバケツをオーバーサンプリングしたりアンダーサンプリングしないようにする）。サンプル数が有意性の小数点を動かすのに必要な数は、Nの平方根の逆数に大体比例するっていうルールオブサムみたいなものもあるし、相互作用する要因があればもっと色々あると思う。そういうことについての本が欲しいな :)

私の経験では、データサイエンスは数年前とは全然違って見えるし、今の優先スキルは基本をしっかり理解することと、良い判断力だと思う。私にとって、統計学はデータサイエンティストにとって絶対的に最優先のスキルだよ。基本的な統計の概念を完全に理解しないと、見たことを行動に移せないし、間違った情報やその解釈に基づいて行動するのを防ぐことができないからね。私が持っている最も価値のあるスキルは、ベイズ統計を適用したり学んだりする経験が豊富なことだよ。ベイズ統計が何か（ジェインズの確率論の初めの部分は実用的にはあまり役立たなかったけど、何を意味するのか、どこから来るのかを理解するのに深く重要だった）、実際にたくさんの確率モデルを見たり、個人的にもプロフェッショナルな世界でも遊んだりしている。ゲームをする人もいるけど、私は階層モデルを作るのが大好き。いいところは、すごく表現力があるだけじゃなくて、直感的にフットガンを避けるのが簡単だってこと。少しずつ考えるだけで済むからね。終わったら、厳密さと計算の間のパレートフロンティアでたくさんの魅力的なストップを楽しみながら、推論が無料で得られる。変分推論、期待最大化、EM、ラプラス。これらはほんの数個の概念で理解できるよ。それに、周辺化は本当に信じられないほど優雅だと思う。驚くべきことに、ベイズ推論と周辺化は今でもとても役立つし実用的なんだ。ただ、直感に反する驚きもたくさんあって、数学だけでなく理論や基礎を理解することが重要だよ。これがあれば、自分がやっていることや見ていることを解釈する方法がわかるからね。それに、これもすごく重要なことがたくさん詰まった素晴らしいガイドだよ（SVD/PCAの線形代数や線形回帰（複数の視点から線形回帰を理解するだけで得られる報酬はすごい））、間違いない。でも、基本を本当に理解していれば、グラフラプラシアンについて心配する必要はないよ（ただ、これもすごく美しいから強く勧めるけど）。だって、ますます理想的な方法を深い研究者にアウトソースできるから、彼らがarxivを読んで理解してくれるんだ。でも、監査は必要だから、基礎を本当に理解することが今はすごく重要なんだ。それと、スピードと実用性を重視すること。ジュニアとシニアの違いは、シンプルなものを選ぶべき時と、もっと大きな武器を使うべき時を認識することだね。

それはすごくクールだね。誰か、latexソースをepubにコンパイルする方法を知ってる？

関連情報: スティーブ・ブルントンが新しい本をもうすぐ出すみたいだよ。https://x.com/eigensteve/status/2055341831702057189 同じような内容だけど、工学や科学にもっと応用されているんだ。彼を知らないなら、彼のYouTubeチャンネルをチェックすることを強く勧めるよ。物理にインスパイアされたニューラルネットワークの講義は最高だから。

Blum, Hopcroft, Kannanの関連書籍: 『データサイエンスの基礎』（2020年）: https://home.ttic.edu/~avrim/book.pdf