僕はよくDeep Learningに関して「構造なき現象間の接続」という表現を使うけど、じゃあそれが回帰分析では起きないのかと言われれば実はそうではなく、「モデルなき回帰」で結局同じ問題に行き着く。
初めて「相関係数では検証できない因果関係を回帰分析で明らかにする」というのを聞いた時、回帰ってそんな有能だったか…?と思った。これは結局のところ「何を目的変数に据え、何を説明変数に据えるか」の問題で、たとえば回帰分析で父親の身長から息子の身長をある程度大雑把に予測することはできるが、その反対に息子の身長から父親の身長をある程度予測することもできる。そこでは因果の方向にかかわらずパラメータ推定値もちゃんと計算される。なぜなら因果関係を見ているわけではないから。
自然科学のように理論や実験があればもっと生きやすい世界になっていただろうけど、そうなれば統計学はここまで発展しなかったかもしれない。