新しいDeep Learningのネットワークが書けたので色々と試しているんだけど、ディープラーニングというもの自体が根本的に本当に効率が悪い。シミュレーション用にかなりシンプルな擬似データを吐く生成モデル書いて、それを試しに突っ込むだけでも馬鹿みたいに学習時間がかかる。それはもちろん人間側には既に内部の構造がわかってるからその近似に時間がかかることにイラつくわけで仕方ないところでもあるんだけど、ちょっとした時系列の線形データと予測にその合算値を当てたときに、それを近似するのに50-neuronsのBidirectional LSTMなんか使って調整すべきパラメータ数22,000のEpoch数3,000とか必要なのマジでバカだし、単純な話としてこんな程度の現象間の変換に対してこんなにタスク量があるのはビットコインのインフラに通ずる非効率さがある。ここでの論点は「GPUで計算してないから時間かかるんだろ」とかそういう問題ではなくて、計算資源は物的資源や電力に依存している以上は有限であり、我々が思っている以上にその上限は低いんだから、カスみたいなタスクを本当にそんな計算資源の暴力みたいな形で強制的に解決すべきなのだろうかということが言いたい。
正直なことを言うと、「機械による人工知能の実現」というより「人間の思考停止」と表現した方が実情に近いとすら思う。これは本当に推論(inference)なのだろうか。現象間を無理やり繋げるためにその構造の決定に試行錯誤するのは、なんというか、本末転倒もいいとこなんじゃないかと思ってしまう。
まあそんなこと言いながら純粋な興味だけでまだディープラーニングやってるわけだけど。ただ、これはどちらかというと工学的な興味でしかなくて、残念ながら統計学的な興味ではないんだろうと思う。
早速新しい仕事をもらったので、この辺の話は12月に「深層学習とモデル」と称して某所で喋ります。