mindspore.ops.ApplyAddSign
- class mindspore.ops.ApplyAddSign[源代码]
根据AddSign算法更新相关参数。
\[\begin{split}\begin{array}{ll} \\ m_{t+1} = \beta * m_{t} + (1 - \beta) * g \\ \text{update} = (\alpha + \text{sign_decay} * sign(g) * sign(m)) * g \\ var = var - lr_{t+1} * \text{update} \end{array}\end{split}\]\(t\) 代表更新步长,而 \(m\) 代表第一个动量矩阵, \(m_{t}\) 是 \(m_{t+1}\) 的最后时刻, \(lr\) 代表学习率 lr , \(g\) 代表 grad , \(\alpha\) 代表 alpha , \(\beta\) 代表 beta 。
所有输入数据在Ascend上支持的类型为:float16和float32,CPU和GPU上支持的类型为:float16、float32和float64。
var 、 accum 和 grad 的输入, sign_decay 和 beta 的输入都遵循隐式类型转换规则,使数据类型一致。 如果它们具有不同的数据类型,则低精度数据类型将转换为相对最高精度的数据类型。
- 输入:
var (Parameter) - 要更新的权重。任意维度,其shape为 \((N, *)\) ,其中 \(*\) 为任意数量的额外维度。
m (Parameter) - 要更新的权重,shape与 var 相同。
lr (Union[Number, Tensor]) - 学习率,必须是Scalar。
sign_decay (Union[Number, Tensor]) - 必须是Scalar。
alpha (Union[Number, Tensor]) - 必须是Scalar。
beta (Union[Number, Tensor]) - 指数衰减率,必须是Scalar。
grad (Tensor) - 梯度,shape与 var 相同。
- 输出:
2个Tensor组成的tuple,更新后的数据。
var (Tensor) - shape和数据类型与 var 相同。
m (Tensor) - shape和数据类型与 m 相同。
- 异常:
TypeError - 如果 var 、 lr 、 alpha 的数据类型既不是float16也不是float32或者float64。
TypeError - 如果 sign_decay 和 beta 的数据类型都不是float16、float32或者float64。
TypeError - 如果 lr 、 alpha 或 sign_decay 既不是数值型,也不是Tensor。
TypeError - 如果 grad 不是Tensor。
TypeError - 如果不支持参数的 var 、 accum 和 grad 数据类型转换。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> import numpy as np >>> from mindspore import Tensor, nn, ops, Parameter >>> class Net(nn.Cell): ... def __init__(self): ... super(Net, self).__init__() ... self.apply_add_sign = ops.ApplyAddSign() ... self.var = Parameter(Tensor(np.array([[0.6, 0.4], ... [0.1, 0.5]]).astype(np.float32)), name="var") ... self.m = Parameter(Tensor(np.array([[0.6, 0.5], ... [0.2, 0.6]]).astype(np.float32)), name="m") ... self.lr = 0.001 ... self.alpha = 1.0 ... self.sign_decay = 0.99 ... self.beta = 0.9 ... def construct(self, grad): ... out = self.apply_add_sign(self.var, self.m, self.lr, self.alpha, self.sign_decay, self.beta, grad) ... return out ... >>> net = Net() >>> grad = Tensor(np.array([[0.3, 0.7], [0.1, 0.8]]).astype(np.float32)) >>> output = net(grad) >>> print(output) (Tensor(shape=[2, 2], dtype=Float32, value= [[ 5.99403024e-01, 3.98607016e-01], [ 9.98010039e-02, 4.98407990e-01]]), Tensor(shape=[2, 2], dtype=Float32, value= [[ 5.70000052e-01, 5.19999981e-01], [ 1.89999998e-01, 6.20000064e-01]]))