mindspore.ops.Adam
- class mindspore.ops.Adam(use_locking=False, use_nesterov=False)[源代码]
通过Adam算法更新梯度。
Adam算法详情请参考 Adam: A Method for Stochastic Optimization 。
有关更多详细信息,参见
mindspore.nn.Adam
。更新公式如下:
\[\begin{split}\begin{array}{ll} \\ m = \beta_1 * m + (1 - \beta_1) * g \\ v = \beta_2 * v + (1 - \beta_2) * g * g \\ l = \alpha * \frac{\sqrt{1-\beta_2^t}}{1-\beta_1^t} \\ w = w - l * \frac{m}{\sqrt{v} + \epsilon} \end{array}\end{split}\]其中, \(m\) 表示第一个动量矩阵, \(v\) 表示第二个动量矩阵, \(g\) 表示 gradient, \(l\) 表示缩放因子 lr , \(\beta_1, \beta_2\) 表示 beta1 和 beta2 , \(t\) 表示更新步数, \(beta_1^t(\beta_1^{t})\) 和 \(beta_2^t(\beta_2^{t})\) 表示 beta1_power 和 beta2_power , \(\alpha\) 表示 learning_rate , \(w\) 表示 var , \(\epsilon\) 表示 epsilon 。
var 、 m 、 v 和 'gradient' 的输入遵循隐式类型转换规则,使数据类型一致。如果它们具有不同的数据类型,则低精度数据类型将转换为相对最高精度的数据类型。
- 参数:
use_locking (bool) - 是否对参数更新加锁保护。如果为
True
,则 w 、 m 和 v 的Tensor更新将受到锁的保护。如果为False
,则结果不可预测。默认值:False
。use_nesterov (bool) - 是否使用Nesterov Accelerated Gradient (NAG)算法更新梯度。如果为
True
,则使用NAG更新梯度。如果为False
,则在不使用NAG的情况下更新梯度。默认值:False
。
- 输入:
var (Parameter) - 需更新的权重。shape: \((N, *)\) ,其中 \(*\) 表示任意数量的附加维度,其数据类型可以是float16或float32。
m (Parameter) - 更新公式中的第一个动量矩阵,shape应与 var 相同。
v (Parameter) - 更新公式中的第二个动量矩阵,shape应与 var 相同。
beta1_power (float) - 在更新公式中的 \(beta_1^t(\beta_1^{t})\) 。
beta2_power (float) - 在更新公式中的 \(beta_2^t(\beta_2^{t})\) 。
lr (float) - 在更新公式中的 \(l\) 。其论文建议取值为 \(10^{-8}\)。
beta1 (float) - 第一个动量矩阵的指数衰减率。论文建议取值为 \(0.9\) 。
beta2 (float) - 第二个动量矩阵的指数衰减率。论文建议取值为 \(0.999\) 。
epsilon (float) - 添加到分母中的值,以提高数值稳定性。
gradient (Tensor) - 表示梯度,shape和数据类型与 var 相同。
- 输出:
3个Tensor的tuple,已更新的参数。
var (Tensor) - shape和数据类型与输入 var 相同。
m (Tensor) - shape和数据类型与输入 m 相同。
v (Tensor) - shape和数据类型与输入 v 相同的。
- 异常:
TypeError - use_locking 和 use_nesterov 都不是bool。
TypeError - var 、 m 或 v 不是Parameter。
TypeError - beta1_power 、 beta2_power1 、 lr 、 beta1 、 beta2 、 epsilon 或 gradient 不是Tensor。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> import mindspore >>> import numpy as np >>> from mindspore import Tensor, nn, ops >>> from mindspore import Parameter >>> class Net(nn.Cell): ... def __init__(self): ... super(Net, self).__init__() ... self.apply_adam = ops.Adam() ... self.var = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="var") ... self.m = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="m") ... self.v = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="v") ... def construct(self, beta1_power, beta2_power, lr, beta1, beta2, epsilon, grad): ... out = self.apply_adam(self.var, self.m, self.v, beta1_power, beta2_power, lr, beta1, beta2, ... epsilon, grad) ... return out ... >>> net = Net() >>> gradient = Tensor(np.ones([2, 2]).astype(np.float32)) >>> output = net(0.9, 0.999, 0.001, 0.9, 0.999, 1e-8, gradient) >>> print(net.var.asnumpy()) [[0.9996838 0.9996838] [0.9996838 0.9996838]]