神经网络的优化（2）----优化器、自适应学习率：Adagrad、RMSProp、Momentum、Adam

一、Adagrad        //这个优化器，带有自适应的学习率                                                                点击此处返回总目录

二、RMSProp      //Adagrad的进阶版，带有更好的自适应学习率

三、Momentum    //动量。

四、Adam            //RMSProp+Momentum。

下面开始讲，自适应学习率。

一、Adagrad

自适应的学习率，我们之前讲过。我们之前有讲过Adagrad。遗忘了可以回去看看。

但是实际上呢，我们面对的问题是有可能会比Adagrad可以处理的问题更加复杂的。也就是说，我们之前在做Linear Regression的时候呢，我们看到的Loss function是凸的。但是呢，我们在做deep learning的时候，loss function可以是任何形状。比如，它可以是下面这种怪异的月球的形状。当今天你的error surface是这个形状的时候，你会遇到的问题是，即使是同一个方向上，你的learning rate也必须能够快速地变动。对于convex的function，这个方向很平坦就一直很平坦，这个方向很陡峭，就一直很陡峭。但是，如果今天是更复杂的问题的时候，你考虑w1改变的这个方向，在某个区域它很平坦，所以它需要比较小的learning rate；但是到了另外一个区域，它又突然变得很陡峭，这时候需要比较大的learning rate。所以，要真正要处理deep learning的问题，用adagrad可能是不够的。你需要更动态地调整learning rate的方法。