グリッドサーチってさあ

グリッドサーチってさあ

研究関係だと1年ぐらいマーケティング関係の多様性の指標開発（多様性変数、Clumpinessとか絡めた真面目なやつ）をやっていたところから、近々久しぶりにディープラーニング使ったチャラいプロジェクトを始めるんですけど、その辺の最適化にあたって何かいい方法はないんですかね（っていうかやりたいこと多すぎるしこのプロジェクト誰か手伝ってくれないかな）。
去年は出入りしてた慶應経済のゼミで若者たちが機械学習系のハイパーパラメータをグリッドサーチで最適化したってすごく言ってたから何かしらそれなりにいい感じの最適化手法が提案されたのかとばかり思っていたのだけど、これ実際にはただの総当たりじゃん。ディープラーニングの最適化はこれまで理研AIPで持っていたRAIDENでfor loop使ったマシンパワー頼みの総当たりでやってたんだけど、じゃあこれもうグリッドサーチじゃん。隅々まで探索しようとすると永遠かと思うぐらい時間かかるし、所属も変わったから自分の研究室のPCでやるのにもうちょっと効率的なやり方に変えるつもりだったのになあ。

2012年時点で”Grid search and manual search are the most widely used strategies for hyper-parameter optimization”（Bergstra & Bengio, 2012）とのことなんだけど、まず単純な総当たりは探索と言えるんだろうか（もちろん言えるんだけど僕の言いたいこともわかってほしい）。総当たりで明らかに予測精度が悪そうな方向にも目を閉じて突き進んでいくわけで、Precision, Recall, F-measure使って事後的な精度だけ見て比較するわけでしょ。もちろん局所最適に陥って終わる可能性もあるから隅々まで探索するっていう意味では学術的にはいいのかもしれないけど。

Bergstra, J., & Bengio, Y. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13(Feb), 281-305.