机器学习之路: 深度学习 tensorflow 神经网络优化算法 学习率的设置

在神经网络中,广泛的使用反向传播和梯度下降算法调整神经网络中参数的取值。

 

机器学习之路: 深度学习 tensorflow 神经网络优化算法 学习率的设置

 

 

梯度下降和学习率:

  假设用 θ 来表示神经网络中的参数, J(θ) 表示在给定参数下训练数据集上损失函数的大小。

  那么整个优化过程就是寻找一个参数θ, 使得J(θ) 的值最小, 也就是求J(θ) 的最小值

  

  损失函数J(θ)的梯度 = ∂ J(θ) / ∂ θ 

  此时定义一个学习率 η 

  梯度下降法更新参数的公式为: θn+1 = θn - η ( ∂ J(θn) / ∂ θn )

  将这个公式循环的重复下去,θ的值就从高处逐渐向最低处一小步一小步的移动

 

举个例子:

  使用梯度下降 使得损失函数函数 J(x) = x2 的值尽量小,  由二次函数图像开口向上可以知道,二次函数最小值为0,

  梯度 ▽ = ∂ J(x) / ∂ x = 2x

  假设初始值为 x= 5, 设置学习率为0.3

  使用梯度下降更新x的值 步骤如下:

  轮数      当前参数x      梯度 * 学习率      更新后参数

  1        5           2*5*0.3 = 3      5-3=2

  2        2          2*2*0.3 = 1.2      2-1.2 = 0.8

  3        0.8         2*0.8*0.3 = 0.48    0.8-0.48 = 0.32

  4        0.32        2*0.32*0.3 = 0.192    0.32-0.192=0.128

  5        0.128          2*0.128*0.3=0.0768   0.128-0.0768=0.0512

  经过五次迭代x从5变成了0.0512, 已经和0非常接近了。

 

 

 但是梯度下降并不能每次都能获得全局最优解。

  如果学习率过小,可能会导致陷入局部最优解的情况。如图:

机器学习之路: 深度学习 tensorflow 神经网络优化算法 学习率的设置

  如果学习率过大,很可能在最优解两侧来回回荡,永远也到不了最低点。

    

举个例子:

  使用梯度下降 使得损失函数函数 J(x) = x2 的值尽量小,  由二次函数图像开口向上可以知道,二次函数最小值为0,

  梯度 ▽ = ∂ J(x) / ∂ x = 2x

  假设初始值为 x= 5, 设置学习率为 1

  使用梯度下降更新x的值 步骤如下:

  轮数      当前参数x      梯度 * 学习率      更新后参数

  1        5           2*5*1= 10      5-10 = -5

  2        -5          2*-5*1 =-10     -5+10 = 5

继续下去他仍会来回摆荡,永远无法收敛

可见, 学习率过大或者过小都不好。

tensorflow为我们提供了一种灵活的学习率设置方式----指数衰减: tf.train.exponential_decy函数

  每一轮的学习率 = 学习率 * 衰减系数^(global_steps/decay_steps)

  随着步数的增加,学习率在变小,并且步数越多,变小的速度越慢

  learning_rate = tf.train.exponential_decay(学习率, global_step, decay_step, 衰减系数,staircase=True)

    global_step 是当前已经执行多少步了

    decay_step 是下降速度,指的是 每隔多少步,学习率指数增长一个

  例如:

     tf.train.exponential_decay(0.1, global_step, 100, 0.96,staircase=True)

    初始学习率0.1 每隔100步 学习率乘以0.96

    stairecase 为true的时候,以阶梯方式下降,  为False时候 以平滑曲线下降

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zgxwzd.html