Coursera の Machine Learning の第一週、第二週は、教師付き学習と教師無し学習みたいな概論と、線形代数の復習、Octave 入門、線形回帰の実装。
Data Analysis でも回帰はずいぶん扱ったけど、アルゴリズムには触れていなかったので若干気になっていたけれど、Gradient Descentとかなのね。凸になっているので、局所最適なら大域最適。なるほど。
Gradient Descent で Learning Rate α が大きすぎると発散することがあるという話があったけれど、移動後に目的間数値が悪化してたら、αを自動的に小さくするとかアルゴリズム的にできる気がするがするけれど、それはもう少し賢い別のアルゴリズムになるのかな。
あと、Review Questions は、これまで自分が受けてた他のコースと違って、再挑戦時は単に選択肢の順番がシャッフルされるだけでなく、問題も微妙に変わるようになっていた。また、一回やって不正解だと、10分間再挑戦できなくなっていた。もう分かったと思って問題をよく読まずに回答してしまい、間違えて、一定時間挑戦できなくてちょっとイライラ(苦笑
#ml
* Conjugate gradient
* BFGS
* L-BFGS
みたいな、より賢いアルゴリズムでは、αを指定する必要がないと言ってました。