mindspore.ops.SparseApplyProximalAdagrad

class mindspore.ops.SparseApplyProximalAdagrad(use_locking=False)[源代码]

根据Proximal Adagrad算法更新网络参数。与 mindspore.ops.ApplyProximalAdagrad 相比，增加了一个索引Tensor。

\[\begin{split}\begin{array}{ll} \\ accum += grad * grad \\ \text{prox_v} = var - lr * grad * \frac{1}{\sqrt{accum}} \\ var = \frac{sign(\text{prox_v})}{1 + lr * l2} * \max(\left| \text{prox_v} \right| - lr * l1, 0) \end{array}\end{split}\]

var 、 accum 和 grad 的输入遵循隐式类型转换规则，使数据类型一致。如果它们具有不同的数据类型，则较低精度的数据类型将转换为相对最高精度的数据类型。

参数：

use_locking (bool) - 如果为 True ，则将保护 var 和 accum 参数不被更新。默认值： False 。

输入：

var (Parameter) - 公式中的"var"。数据类型必须为float16或float32。shape为 \((N, *)\) ，其中 \(*\) 表示任何附加维度。
accum (Parameter) - 公式中的"accum"，与 var 的shape相同。
lr (Union[Number, Tensor]) - 学习率，必须为float或为Tensor，其数据类型为float16或float32。必须大于零。
l1 (Union[Number, Tensor]) - l1正则化，必须为float或为Tensor，其数据类型为float16或float32。必须大于等于零。
l2 (Union[Number, Tensor]) - l2正则化，必须为float或为Tensor，其数据类型为float16或float32。必须大于等于零。
grad (Tensor) - 梯度。如果 var 的shape大于1，那么 \(grad.shape[1:] = var.shape[1:]\) 。
indices (Tensor) - var 和 accum 第一维度中的索引。如果 indices 中存在重复项，则无意义。数据类型必须是int32、int64和 \(indices.shape[0] = grad.shape[0]\) 。

输出：

两个Tensor组成的tuple，更新后的参数。

var (Tensor) - shape和数据类型与输入 var 相同。
accum (Tensor) - shape和数据类型与输入 accum 相同。

异常：

TypeError - 如果 use_locking 不是bool。
TypeError - 如果 var 、 accum 、 lr 、 l1 、 l2 或 grad 的数据类型既不是float16也不是float32。
TypeError - 如果 indices 的数据类型既不是int32也不是int64。
ValueError - 如果 lr <= 0 或者 l1 < 0 或者 l2 < 0。
RuntimeError - 如果不支持参数的 var 、 accum 和 grad 数据类型转换。

支持平台：

Ascend GPU

样例：

>>> import numpy as np
>>> from mindspore import Tensor, nn, ops, Parameter
>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.sparse_apply_proximal_adagrad = ops.SparseApplyProximalAdagrad()
...         self.var = Parameter(Tensor(np.array([[4.1, 7.2], [1.1, 3.0]], np.float32)), name="var")
...         self.accum = Parameter(Tensor(np.array([[0, 0], [0, 0]], np.float32)), name="accum")
...         self.lr = 1.0
...         self.l1 = 1.0
...         self.l2 = 0.0
...     def construct(self, grad, indices):
...         out = self.sparse_apply_proximal_adagrad(self.var, self.accum, self.lr, self.l1,
...                                                  self.l2, grad, indices)
...         return out
...
>>> net = Net()
>>> grad = Tensor(np.array([[1, 1], [1, 1]], np.float32))
>>> indices = Tensor(np.array([0, 1], np.int32))
>>> output = net(grad, indices)
>>> print(output)
(Tensor(shape=[2, 2], dtype=Float32, value=
[[ 2.09999990e+00,  5.19999981e+00],
 [ 0.00000000e+00,  1.00000000e+00]]), Tensor(shape=[2, 2], dtype=Float32, value=
[[ 1.00000000e+00,  1.00000000e+00],
 [ 1.00000000e+00,  1.00000000e+00]]))