神经网络的优化(2)----优化器、自适应学习率:Adagrad、RMSProp、Momentum、Adam
一、Adagrad //这个优化器,带有自适应的学习率 点击此处返回总目录 二、RMSProp //Adagrad的进阶版,带有更好的自适应学习率 三、Momentum //动量。 四、Adam //RMSProp+Momentum。
下面开始讲,自适应学习率。
一、Adagrad 自适应的学习率,我们之前讲过。我们之前有讲过Adagrad。遗忘了可以回去看看。 但是实际上呢,我们面对的问题是有可能会比Adagrad可以处理的问题更加复杂的。也就是说,我们之前在做Linear Regression的时候呢,我们看到的Loss function是凸的。但是呢,我们在做deep learning的时候,loss function可以是任何形状。比如,它可以是下面这种怪异的月球的形状。当今天你的error surface是这个形状的时候,你会遇到的问题是,即使是同一个方向上,你的learning rate也必须能够快速地变动。对于convex的function,这个方向很平坦就一直很平坦,这个方向很陡峭,就一直很陡峭。但是,如果今天是更复杂的问题的时候,你考虑w1改变的这个方向,在某个区域它很平坦,所以它需要比较小的learning rate;但是到了另外一个区域,它又突然变得很陡峭,这时候需要比较大的learning rate。所以,要真正要处理deep learning的问题,用adagrad可能是不够的。你需要更动态地调整learning rate的方法。
|