mindspore.ops.ApplyAdaMax

class mindspore.ops.ApplyAdaMax[源代码]

根据AdaMax算法更新相关参数。

AdaMax优化器是参考 Adam论文 中Adamax优化相关内容所实现的。

更新公式如下：

\[\begin{split}\begin{array}{ll} \\ m_{t+1} = \beta_1 * m_{t} + (1 - \beta_1) * g \\ v_{t+1} = \max(\beta_2 * v_{t}, \left| g \right|) \\ var = var - \frac{l}{1 - \beta_1^{t+1}} * \frac{m_{t+1}}{v_{t+1} + \epsilon} \end{array}\end{split}\]

\(t\) 表示更新步数， \(m\) 为一阶矩， \(m_{t}\) 是上一步的 \(m_{t+1}\) ， \(v\) 为二阶矩， \(v_{t}\) 是上一步的 \(v_{t+1}\) ， \(l\) 代表学习率 lr ， \(g\) 代表 grad ， \(\beta_1, \beta_2\) 代表 beta1 和 beta2 ， \(\beta_1^{t+1}\) 代表 beta1_power ， \(var\) 代表要更新的网络参数， \(\epsilon\) 代表 epsilon 。

var 、 m 、 v 和 grad 的输入符合隐式类型转换规则，使数据类型一致。如果它们具有不同的数据类型，则低精度数据类型将转换为相对最高精度的数据类型。

输入：

  • var (Parameter) - 待更新的网络参数，为任意维度。数据类型为float32或float16。

  • m (Parameter) - 一阶矩，shape和数据类型与 var 相同。数据类型为float32或float16。

  • v (Parameter) - 二阶矩。shape和类型与 var 相同。数据类型为float32或float16。

  • beta1_power (Union[Number, Tensor]) - \(beta_1^t\) ，必须是Scalar。数据类型为float32或float16。

  • lr (Union[Number, Tensor]) - 学习率，公式中的 \(l\) ，必须是Scalar。数据类型为float32或float16。

  • beta1 (Union[Number, Tensor]) - 一阶矩的指数衰减率，必须是Scalar。数据类型为float32或float16。

  • beta2 (Union[Number, Tensor]) - 二阶矩的指数衰减率，必须是Scalar。数据类型为float32或float16。

  • epsilon (Union[Number, Tensor]) - 加在分母上的值，以确保数值稳定，必须是Scalar。数据类型为float32或float16。

  • grad (Tensor) - 为梯度，是一个Tensor，shape和数据类型与 var 相同。数据类型为float32或float16。

输出：

3个Tensor组成的tuple，更新后的数据。

  • var (Tensor) - shape和数据类型与 var 相同。

  • m (Tensor) - shape和数据类型与 m 相同。

  • v (Tensor) - shape和数据类型与 v 相同。

异常：

  • TypeError - 如果 var 、 m 、 v 、 beta_power 、 lr 、 beta1 、 beta2 、 epsilon 或 grad 的数据类型既不是float16也不是float32。

  • TypeError - 如果 beta_power 、 lr 、 beta1 、 beta2 或 epsilon 既不是数值型也不是Tensor。

  • TypeError - 如果 grad 不是Tensor。

  • RuntimeError - 如果 var 、 m 、 v 和 grad 不支持数据类型转换。

支持平台：

Ascend

样例：

>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.apply_ada_max = ops.ApplyAdaMax()
...         self.var = Parameter(Tensor(np.array([[0.6, 0.4],
...                                               [0.1, 0.5]]).astype(np.float32)), name="var")
...         self.m = Parameter(Tensor(np.array([[0.6, 0.5],
...                                             [0.2, 0.6]]).astype(np.float32)), name="m")
...         self.v = Parameter(Tensor(np.array([[0.9, 0.1],
...                                             [0.7, 0.8]]).astype(np.float32)), name="v")
...     def construct(self, beta1_power, lr, beta1, beta2, epsilon, grad):
...         out = self.apply_ada_max(self.var, self.m, self.v, beta1_power, lr, beta1, beta2, epsilon, grad)
...         return out
...
>>> net = Net()
>>> beta1_power =Tensor(0.9, mindspore.float32)
>>> lr = Tensor(0.001, mindspore.float32)
>>> beta1 = Tensor(0.9, mindspore.float32)
>>> beta2 = Tensor(0.99, mindspore.float32)
>>> epsilon = Tensor(1e-10, mindspore.float32)
>>> grad = Tensor(np.array([[0.3, 0.7], [0.1, 0.8]]).astype(np.float32))
>>> output = net(beta1_power, lr, beta1, beta2, epsilon, grad)
>>> print(output)
(Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.93602717e-01,  3.92571449e-01],
 [ 9.72582996e-02,  4.92249995e-01]]), Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.69999993e-01,  5.19999981e-01],
 [ 1.89999998e-01,  6.20000005e-01]]), Tensor(shape=[2, 2], dtype=Float32, value=
[[ 8.90999973e-01,  6.99999988e-01],
 [ 6.93000019e-01,  8.00000012e-01]]))