世界を動かす技術を、日本語で。
yをxに対してプロットすると回帰直線ができて、逆にxをyに対してプロットすると別の直線ができるんだよね。統計の授業を教えてる途中で気づいて、ちょっと恥ずかしかった。バイアスを取り除く方法の一つが正規化かな。
こう考えるといいかも：線形回帰モデルはyのノイズだけを考慮して、xのノイズは無視する。一方、PCAの楕円や固有ベクトルはxとyの両方のノイズをモデル化するんだ。
これで面白い問題が出てくるんだけど、多くのシステムではyの方がxよりもノイズが多いことがあるんだ。例えば、アナログ-デジタルコンバータからの時系列データで、時間は水晶振動子に基づいてる場合とかね。
もしyがxのn倍ノイズがあるとわかっている場合、フィットを改善する方法はある？それとも、各自由変数の（おおよその）ノイズ分布がわかっている場合はどう？
トレンドを当てはめるとき、データ分析のためにPCAの固有ベクトルを使うべきなの？それとも線形回帰の方がいいの？
最小二乗法とPCAは異なる損失関数を最小化するんだよね。一つは縦（y）距離の二乗和、もう一つは直線への最短距離の和。これが違いを生むんだ。
最小二乗法をノイズをガウス分布にフィットさせる視点で見ると、結構役立つと思う。
なるほどね。でも、最小二乗法がどうして下に傾くのか、他の方向じゃダメなの？なんか恣意的に感じるんだけど。
線形回帰、つまり普通の最小二乗法はYだけにノイズがあってXは正しいと仮定してるんだ。君の「視覚的検査」はXとYの両方にノイズがあると仮定してる。それをトータル最小二乗法って呼ぶんだよ。
そうそう、デモするために傾けて（xとyを入れ替えて）もう一度やってみて。これがTLSのやってることかもね？
ここにイラストがあるよ: https://en.wikipedia.org/wiki/Total_least_squares
量子科学の教授が「xデータに誤差がないデータ収集シナリオを挙げられる人は？」ってよく聞いてた。そして、デミング回帰を一般的に好まれる分析として教えてたんだ。