TensorFlow优化器

本篇文章帮大家学习TensorFlow优化器,包含了TensorFlow优化器使用方法、操作技巧、实例演示和注意事项,有一定的学习价值,大家可以用来参考。

优化器是扩展类,其中包括用于训练特定模型的附加信息。优化器类使用给定的参数进行初始化,但重要的是要记住不需要Tensor。优化器用于提高训练特定模型的速度和性能。

TensorFlow的基本优化器是 -

tf.train.Optimizer

此类在tensorflow/python/training/optimizer.py 路径中定义。

以下是Tensorflow中的一些优化器 -

  • 随机梯度下降
  • 随机梯度下降与梯度剪裁
  • 动量
  • Nesterov动量
  • Adagrad
  • Adadelta
  • RMSProp
  • Adam
  • Adamax
  • SMORMS3

这里我们将专注于介绍随机梯度下降,下面是创建优化器的代码 -

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []

   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

基本参数在特定功能中定义。在随后的章节中,将重点介绍梯度下降优化以及优化器的实现。

    

站长公告

极客大全致力于分享java、c#、php、python等编程语言教程,帮助广大程序员解决问题。

热门标签