mindspore.ops.ApplyProximalGradientDescent

class mindspore.ops.ApplyProximalGradientDescent

根据FOBOS(Forward Backward Splitting)算法更新网络参数或者Tensor。 请参阅论文 Efficient Learning using Forward-Backward Splitting。

\[\begin{split}\begin{array}{ll} \\ \text{prox_v} = var - \alpha * \delta \\ var = \frac{sign(\text{prox_v})}{1 + \alpha * l2} * \max(\left| \text{prox_v} \right| - \alpha * l1, 0) \end{array}\end{split}\]

其中 \(\alpha\) 为 alpha ，\(\delta\) 为 delta 。

输入 var 和 delta 之间必须遵守隐式类型转换规则以保证数据类型的统一。如果数据类型不同，低精度的数据类型将被自动转换到高精度的数据类型。

输入：

• var (Union[Parameter, Tensor]) - Tensor，公式中的"var"。数据类型为float16或float32。shape为 \((N, *)\) ，其中 \(*\) 表示任何数量的附加维度。

• alpha (Union[Number, Tensor]) - 比例系数，必须为标量。数据类型为float16或float32。

• l1 (Union[Number, Tensor]) - l1正则化强度，必须为标量。数据类型为float16或float32。

• l2 (Union[Number, Tensor]) - l2正则化强度，必须为标量。数据类型为float16或float32。

• delta (Tensor) - 梯度Tensor。

输出：

Tensor，更新后的 var 。

异常：

• TypeError - var 、 alpha 、 l1 或 l2 的数据类型非float16或float32。

• TypeError - alpha 、 l1 或 l2 不是Number或Tensor。

• TypeError - delta 不是Tensor。

• TypeError - var 和 delta 之间的数值转换不被支持。

支持平台：

Ascend GPU CPU

样例：

>>> import numpy as np
>>> from mindspore import Tensor, nn, ops, Parameter
>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.apply_proximal_gradient_descent = ops.ApplyProximalGradientDescent()
...         self.var = Parameter(Tensor(np.ones([2, 2]).astype(np.float32)), name="var")
...         self.alpha = 0.001
...         self.l1 = 0.1
...         self.l2 = 0.1
...     def construct(self, delta):
...         out = self.apply_proximal_gradient_descent(self.var, self.alpha, self.l1, self.l2, delta)
...         return out
...
>>> net = Net()
>>> delta = Tensor(np.array([[0.1, 0.1], [0.1, 0.1]]).astype(np.float32))
>>> output = net(delta)
>>> print(output)
[[0.99969995 0.99969995]
 [0.99969995 0.99969995]]