mindspore.ops.Adam

class mindspore.ops.Adam(use_locking=False, use_nesterov=False)

通过Adam算法更新梯度。

Adam算法详情请参考 Adam: A Method for Stochastic Optimization 。

有关更多详细信息，参见 mindspore.nn.Adam 。

更新公式如下：

\[\begin{split}\begin{array}{ll} \\ m = \beta_1 * m + (1 - \beta_1) * g \\ v = \beta_2 * v + (1 - \beta_2) * g * g \\ l = \alpha * \frac{\sqrt{1-\beta_2^t}}{1-\beta_1^t} \\ w = w - l * \frac{m}{\sqrt{v} + \epsilon} \end{array}\end{split}\]

其中， \(m\) 表示第一个动量矩阵， \(v\) 表示第二个动量矩阵， \(g\) 表示 gradient， \(l\) 表示缩放因子 lr ， \(\beta_1, \beta_2\) 表示 beta1 和 beta2 ， \(t\) 表示更新步数， \(beta_1^t(\beta_1^{t})\) 和 \(beta_2^t(\beta_2^{t})\) 表示 beta1_power 和 beta2_power ， \(\alpha\) 表示 learning_rate ， \(w\) 表示 var ， \(\epsilon\) 表示 epsilon 。

var 、 m 、 v 和 ‘gradient’ 的输入遵循隐式类型转换规则，使数据类型一致。如果它们具有不同的数据类型，则低精度数据类型将转换为相对最高精度的数据类型。

参数：

• use_locking (bool) - 是否对参数更新加锁保护。如果为 True ，则 w 、 m 和 v 的Tensor更新将受到锁的保护。如果为 False ，则结果不可预测。默认值： False 。

• use_nesterov (bool) - 是否使用Nesterov Accelerated Gradient (NAG)算法更新梯度。如果为 True ，则使用NAG更新梯度。如果为 False ，则在不使用NAG的情况下更新梯度。默认值：False 。

输入：

• var (Parameter) - 需更新的权重。shape： \((N, *)\) ，其中 \(*\) 表示任意数量的附加维度，其数据类型可以是float16或float32。

• m (Parameter) - 更新公式中的第一个动量矩阵，shape应与 var 相同。

• v (Parameter) - 更新公式中的第二个动量矩阵，shape应与 var 相同。

• beta1_power (float) - 在更新公式中的 \(beta_1^t(\beta_1^{t})\) 。

• beta2_power (float) - 在更新公式中的 \(beta_2^t(\beta_2^{t})\) 。

• lr (float) - 在更新公式中的 \(l\) 。其论文建议取值为 \(10^{-8}\)。

• beta1 (float) - 第一个动量矩阵的指数衰减率。论文建议取值为 \(0.9\) 。

• beta2 (float) - 第二个动量矩阵的指数衰减率。论文建议取值为 \(0.999\) 。

• epsilon (float) - 添加到分母中的值，以提高数值稳定性。

• gradient (Tensor) - 表示梯度，shape和数据类型与 var 相同。

输出：

3个Tensor的tuple，已更新的参数。

• var (Tensor) - shape和数据类型与输入 var 相同。

• m (Tensor) - shape和数据类型与输入 m 相同。

• v (Tensor) - shape和数据类型与输入 v 相同的。

异常：

• TypeError - use_locking 和 use_nesterov 都不是bool。

• TypeError - var 、 m 或 v 不是Parameter。

• TypeError - beta1_power 、 beta2_power1 、 lr 、 beta1 、 beta2 、 epsilon 或 gradient 不是Tensor。

支持平台：

Ascend GPU CPU

样例：

>>> import mindspore
>>> import numpy as np
>>> from mindspore import Tensor, nn, ops
>>> from mindspore import Parameter
>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.apply_adam = ops.Adam()
...         self.var = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="var")
...         self.m = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="m")
...         self.v = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="v")
...     def construct(self, beta1_power, beta2_power, lr, beta1, beta2, epsilon, grad):
...         out = self.apply_adam(self.var, self.m, self.v, beta1_power, beta2_power, lr, beta1, beta2,
...                               epsilon, grad)
...         return out
...
>>> net = Net()
>>> gradient = Tensor(np.ones([2, 2]).astype(np.float32))
>>> output = net(0.9, 0.999, 0.001, 0.9, 0.999, 1e-8, gradient)
>>> print(net.var.asnumpy())
[[0.9996838 0.9996838]
 [0.9996838 0.9996838]]