mindspore.ops.ApplyProximalAdagrad

class mindspore.ops.ApplyProximalAdagrad(use_locking=False)[源代码]

根据Proximal Adagrad算法更新网络参数。 请参阅论文 Efficient Learning using Forward-Backward Splitting

\[\begin{split}\begin{array}{ll} \\ accum += grad * grad \\ \text{prox_v} = var - lr * grad * \frac{1}{\sqrt{accum}} \\ var = \frac{sign(\text{prox_v})}{1 + lr * l2} * \max(\left| \text{prox_v} \right| - lr * l1, 0) \end{array}\end{split}\]

输入 varaccumgrad 之间必须遵守隐式类型转换规则以保证数据类型的统一。如果数据类型不同,低精度的数据类型将被自动转换到高精度的数据类型。

参数:
  • use_locking (bool) - 是否对参数更新加锁保护。默认值:False。

输入:
  • var (Parameter) - 公式中的”var”。数据类型需为float16或float32。shape为 \((N, *)\) ,其中 \(*\) 表示任何数量的附加维度。

  • accum (Parameter) - 公式中的”accum”。与 var 的shape和数据类型相同。

  • lr (Union[Number, Tensor]) - 学习率,必须为标量,数据类型为float16或float32。

  • l1 (Union[Number, Tensor]) - l1正则化强度,必须为标量,数据类型为float16或float32。

  • l2 (Union[Number, Tensor]) - l2正则化强度,必须为标量,数据类型为float16或float32。

  • grad (Tensor) - 梯度,与 var 的shape与数据类型相同。

输出:

包含两个Tensor的Tuple,已被更新的参数。

  • var (Tensor) - 与输入 var 的shape与数据类型相同。

  • accum (Tensor) - 与输入 accum 的shape与数据类型相同。

异常:
  • TypeError - use_blocking 不是bool类型。

  • TypeError - varlrl1l2 的数据类型不是float16或float32。

  • TypeError - lrl1l2 的数据类型不是Number或Tensor。

  • TypeError - grad 不是Tensor。

  • RuntimeError - varaccumgrad 网络参数的数据类型转换错误。

支持平台:

Ascend GPU CPU

样例:

>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.apply_proximal_adagrad = ops.ApplyProximalAdagrad()
...         self.var = Parameter(Tensor(np.array([[0.6, 0.4],
...                                               [0.1, 0.5]]).astype(np.float32)), name="var")
...         self.accum = Parameter(Tensor(np.array([[0.6, 0.5],
...                                                 [0.2, 0.6]]).astype(np.float32)), name="accum")
...         self.lr = 0.01
...         self.l1 = 0.0
...         self.l2 = 0.0
...     def construct(self, grad):
...         out = self.apply_proximal_adagrad(self.var, self.accum, self.lr, self.l1, self.l2, grad)
...         return out
...
>>> net = Net()
>>> grad = Tensor(np.array([[0.3, 0.7], [0.1, 0.8]]).astype(np.float32))
>>> output = net(grad)
>>> print(output)
(Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.96388459e-01,  3.92964751e-01],
 [ 9.78178233e-02,  4.92815793e-01]]), Tensor(shape=[2, 2], dtype=Float32, value=
[[ 6.90000057e-01,  9.90000010e-01],
 [ 2.10000008e-01,  1.24000001e+00]]))