mindspore.ops.ApplyFtrl

class mindspore.ops.ApplyFtrl(use_locking=False)

根据FTRL算法更新相关参数。

更多详细信息请参见 mindspore.nn.FTRL 。

说明

• 当前在Ascend平台上仅支持正数，其余场景计算结果未定义。

• var 、 accum 、 linear 和 grad 的输入符合隐式类型转换规则，使数据类型一致。如果它们具有不同的数据类型，则低精度数据类型将转换为相对最高精度的数据类型。

参数：

• use_locking (bool) - 是否对参数更新加锁保护。默认值： False 。

输入：

• var (Parameter) - 要更新的权重。数据类型必须为float16或float32。shape： \((N, *)\) ，其中 \(*\) 表示任意数量的附加维度。

• accum (Parameter) - 要更新的累积，shape必须与 var 相同。

• linear (Parameter) - 要更新的线性系数，shape必须与 var 相同。

• grad (Tensor) - 梯度。数据类型必须为float16或float32。

• lr (Union[Number, Tensor]) - 学习率，必须为正值。它必须是float或数据类型为float16或float32的Scalar的Tensor。默认值： 0.001 。

• l1 (Union[Number, Tensor]) - l1正则化，必须大于或等于零。它必须是float类型或数据类型为float16或float32的Scalar的Tensor。默认值： 0.0 。

• l2 (Union[Number, Tensor]) - l2正则化，必须大于或等于零。它必须是float类型或数据类型为float16或float32的Scalar的Tensor。默认值： 0.0 。

• lr_power (Union[Number, Tensor]) - 在训练期间控制降低学习率，必须小于或等于零。如果lr_power为零，则使用固定学习率。它必须是float类型或数据类型为float16或float32的Scalar的Tensor。默认值： -0.5 。

输出：

• var (Tensor) - 表示更新后的 var 。由于输入参数已更新，因此当平台为GPU时，此值始终为零。

异常：

• TypeError - 如果 use_locking 不是bool。

• TypeError - 如果 var 、 grad 、 lr 、 l1 、 l2 或 lr_power 的数据类型既不是float16也不是float32。

• TypeError - 如果 lr 、 l1 、 l2 或 lr_power 既不是数值型也不是Tensor。

• TypeError - 如果 grad 不是Tensor。

• TypeError - 如果 var、 accum、 linear 参数类型不一致。

• TypeError - 如果 grad、 lr、 l1、 l2、lr_power 的参数类型与 var 不一致且精度大于 var。

支持平台：

Ascend GPU CPU

样例：

>>> import numpy as np
>>> from mindspore import Tensor, nn, ops, Parameter
>>> class ApplyFtrlNet(nn.Cell):
...     def __init__(self):
...         super(ApplyFtrlNet, self).__init__()
...         self.apply_ftrl = ops.ApplyFtrl()
...         self.lr = 0.001
...         self.l1 = 0.0
...         self.l2 = 0.0
...         self.lr_power = -0.5
...         self.var = Parameter(Tensor(np.array([[0.6, 0.4],
...                                               [0.1, 0.5]]).astype(np.float32)), name="var")
...         self.accum = Parameter(Tensor(np.array([[0.6, 0.5],
...                                                 [0.2, 0.6]]).astype(np.float32)), name="accum")
...         self.linear = Parameter(Tensor(np.array([[0.9, 0.1],
...                                                  [0.7, 0.8]]).astype(np.float32)), name="linear")
...
...     def construct(self, grad):
...         out = self.apply_ftrl(self.var, self.accum, self.linear, grad, self.lr, self.l1, self.l2,
...                               self.lr_power)
...         return out
...
>>> net = ApplyFtrlNet()
>>> input_x = Tensor(np.array([[0.3, 0.7], [0.1, 0.8]]).astype(np.float32))
>>> output = net(input_x)
>>> print(net.var.asnumpy())
[[ 0.0390525  0.11492836]
 [ 0.00066425 0.15075898]]