通过指数衰减的方法设置[优化神经网络损失函数的]学习率( 二 )


四,如何使用 tf.train.函数衰减的学习率?
归根到底,学习率是用来优化神经网络的损失函数的,若损失函数为LOSS,我们优化LOSS的方法是梯度下降(),则有:
【通过指数衰减的方法设置[优化神经网络损失函数的]学习率】learning_rate = tf.train.exponential_decay(.......)learning_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(LOSS,global_step=global_step)