mindspore.ops.ApplyPowerSign

class mindspore.ops.ApplyPowerSign

根据AddSign算法更新相关参数。

AddSign算法可参阅论文 Neural Optimizer Search with Reinforcement Learning 。

\[\begin{split}\begin{array}{ll} \\ m_{t+1} = \beta * m_{t} + (1 - \beta) * g \\ \text{update} = \exp(\text{logbase} * \text{sign_decay} * sign(g) * sign(m)) * g \\ var = var - lr_{t+1} * \text{update} \end{array}\end{split}\]

\(t\) 表示更新步数，而 \(m\) 为一阶矩， \(m_{t}\) 是上一步的 \(m_{t+1}\) ， \(lr\) 表示 lr ， \(g\) 表示 grad ， \(\beta\) 表示 beta 。

所有输入都遵循隐式类型转换规则，以使数据类型一致。如果 lr 、 logbase 、 sign_decay 或 beta 是数值型，则会自动转换为Tensor，数据类型与操作中涉及的Tensor的数据类型一致。如果输入是Tensor，并且具有不同的数据类型，则低精度数据类型将转换为最高精度的数据类型。

说明

目前Ascend平台上暂未开放对float64数据类型的支持。

输入：

• var (Parameter) - 要更新的变量。数据类型为float64、float32或float16。如果 var 的数据类型为float16，则所有输入的数据类型必须与 var 相同。shape： \((N, *)\) ，其中 \(*\) 表示任意数量的附加维度。

• m (Parameter) - 要更新的变量，shape和数据类型与 var 相同。

• lr (Union[Number, Tensor]) - 学习率，应该是Scalar或Tensor，数据类型为float64、float32或float16。

• logbase (Union[Number, Tensor]) - 应该是Scalar或Tensor，数据类型为float64、float32或float16。

• sign_decay (Union[Number, Tensor]) - 应该是Scalar或Tensor，数据类型为float64、float32或float16。

• beta (Union[Number, Tensor]) - 指数衰减率，应该是Scalar或Tensor，数据类型为float64、float32或float16。

• grad (Tensor) - 梯度，shape和数据类型与 var 相同。

输出：

2个Tensor组成的tuple，更新后的参数。

• var (Tensor) - shape和数据类型与 var 相同。

• m (Tensor) - shape和数据类型与 m 相同。

异常：

• TypeError - 如果 var 、 lr 、 logbase 、 sign_decay 、 beta 或 grad 的数据类型不是float16、float32或者float64。

• TypeError - 如果 lr 、 logbase 、 sign_decay 或 beta 既不是数值型也不是Tensor。

• TypeError - 如果 grad 不是Tensor。

• RuntimeError - 如果 lr 、 logbase 、 sign_decay 和 grad 不支持数据类型转换。

支持平台：

Ascend GPU CPU

样例：

>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.apply_power_sign = ops.ApplyPowerSign()
...         self.var = Parameter(Tensor(np.array([[0.6, 0.4],
...                                               [0.1, 0.5]]).astype(np.float32)), name="var")
...         self.m = Parameter(Tensor(np.array([[0.6, 0.5],
...                                             [0.2, 0.6]]).astype(np.float32)), name="m")
...         self.lr = 0.001
...         self.logbase = np.e
...         self.sign_decay = 0.99
...         self.beta = 0.9
...     def construct(self, grad):
...         out = self.apply_power_sign(self.var, self.m, self.lr, self.logbase,
...                                        self.sign_decay, self.beta, grad)
...         return out
...
>>> net = Net()
>>> grad = Tensor(np.array([[0.3, 0.7], [0.1, 0.8]]).astype(np.float32))
>>> output = net(grad)
>>> print(output)
(Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.95575690e-01,  3.89676481e-01],
 [ 9.85252112e-02,  4.88201708e-01]]), Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.70000052e-01,  5.19999981e-01],
 [ 1.89999998e-01,  6.20000064e-01]]))