mindspore.nn.Optimizer

class mindspore.nn.Optimizer(learning_rate, parameters, weight_decay=0.0, loss_scale=1.0)[源代码]

用于参数更新的优化器基类。不要直接使用这个类,请实例化它的一个子类。详见 优化器

优化器支持参数分组。当参数分组时,每组参数均可配置不同的学习率(lr )、权重衰减(weight_decay)和梯度中心化(grad_centralization)策略。

说明

  • 在参数未分组时,优化器配置的 weight_decay 应用于名称不含”beta”或”gamma”的网络参数。

  • 用户可以分组调整权重衰减策略。分组时,每组网络参数均可配置 weight_decay 。若未配置,则该组网络参数使用优化器中配置的 weight_decay

参数:
  • learning_rate (Union[float, int, Tensor, Iterable, LearningRateSchedule]) -

    • float - 固定的学习率。必须大于等于零。

    • int - 固定的学习率。必须大于等于零。整数类型会被转换为浮点数。

    • Tensor - 可以是标量或一维向量。标量是固定的学习率。一维向量是动态的学习率,第i步将取向量中第i个值作为学习率。

    • Iterable - 动态的学习率。第i步将取迭代器第i个值作为学习率。

    • LearningRateSchedule - 动态的学习率。在训练过程中,优化器将使用步数(step)作为输入,调用 LearningRateSchedule 实例来计算当前学习率。

  • parameters (Union[list[Parameter], list[dict]]) - 必须是 Parameter 组成的列表或字典组成的列表。当列表元素是字典时,字典的键可以是”params”、”lr”、”weight_decay”、”grad_centralization”和”order_params”:

    • params - 必填。当前组别的权重,该值必须是 Parameter 列表。

    • lr - 可选。如果键中存在”lr”,则使用对应的值作为学习率。如果没有,则使用优化器中的参数 learning_rate 作为学习率。支持固定和动态学习率。

    • weight_decay - 可选。如果键中存在”weight_decay”,则使用对应的值作为权重衰减值。如果没有,则使用优化器中配置的 weight_decay 作为权重衰减值。

    • grad_centralization - 可选。如果键中存在”grad_centralization”,则使用对应的值,该值必须为布尔类型。如果没有,则认为 grad_centralization 为False。该参数仅适用于卷积层。

    • order_params - 可选。值的顺序是参数更新的顺序。当使用参数分组功能时,通常使用该配置项保持 parameters 的顺序以提升性能。如果键中存在”order_params”,则会忽略该组配置中的其他键。”order_params”中的参数必须在某一组 params 参数中。

  • weight_decay (Union[float, int]) - 权重衰减的整数或浮点值。必须等于或大于0。如果 weight_decay 是整数,它将被转换为浮点数。默认值: 0.0

  • loss_scale (float) - 梯度缩放系数,必须大于0.0。如果 loss_scale 是整数,它将被转换为浮点数。通常使用默认值,仅当训练时使用了 FixedLossScaleManager,且 FixedLossScaleManagerdrop_overflow_update 属性配置为 False 时,此值需要与 FixedLossScaleManager 中的 loss_scale 相同。有关更多详细信息,请参阅 mindspore.amp.FixedLossScaleManager。默认值: 1.0

异常:
  • TypeError - learning_rate 不是int、float、Tensor、Iterable或LearningRateSchedule。

  • TypeError - parameters 的元素不是Parameter或字典。

  • TypeError - loss_scale 不是float。

  • TypeError - weight_decay 不是float或int。

  • ValueError - loss_scale 小于或等于0。

  • ValueError - weight_decay 小于0。

  • ValueError - learning_rate 是一个Tensor,但是Tensor的维度大于1。

支持平台:

Ascend GPU CPU

样例:

>>> import mindspore as ms
>>> from mindspore import nn
>>> import numpy as np
>>> import mindspore
>>> from mindspore import nn, ops, Tensor
>>>
>>> class MyMomentum(nn.Optimizer):
...     def __init__(self, params, learning_rate, momentum=0.9):
...         super(MyMomentum, self).__init__(learning_rate, params)
...         self.moments = self.parameters.clone(prefix="moments", init="zeros")
...         self.momentum = momentum
...         self.opt = ops.ApplyMomentum()
...
...     def construct(self, gradients):
...         params = self.parameters
...         lr = self.get_lr()
...         gradients = self.flatten_gradients(gradients)
...         gradients = self.decay_weight(gradients)
...         gradients = self.gradients_centralization(gradients)
...         gradients = self.scale_grad(gradients)
...
...         success = None
...         for param, mom, grad in zip(params, self.moments, gradients):
...             success = self.opt(param, mom, lr, grad, self.momentum)
...         return success
>>>
>>> net = nn.Dense(2, 3)
>>> loss_fn = nn.MAELoss()
>>> opt = MyMomentum(net.trainable_params(), 0.01)
>>>
>>> device_target = opt.target
>>> opt_unique = opt.unique
>>> weight_decay_value = opt.get_weight_decay()
>>>
>>> def forward_fn(data, label):
...     logits = net(data)
...     loss = loss_fn(logits, label)
...     return loss, logits
>>>
>>> grad_fn = mindspore.value_and_grad(forward_fn, None, opt.parameters, has_aux=True)
>>>
>>> def train_step(data, label):
...     (loss, _), grads = grad_fn(data, label)
...     opt(grads)
...     return loss
>>>
>>> data = Tensor(np.random.rand(4, 10, 2), mindspore.dtype.float32)
>>> label = Tensor(np.random.rand(4, 10, 3), mindspore.dtype.float32)
>>> train_step(data, label)
broadcast_params(optim_result)[源代码]

按参数组的顺序进行参数广播。

参数:
  • optim_result (bool) - 参数更新结果。该输入用来保证参数更新完成后才执行参数广播。

返回:

bool,状态标志。

decay_weight(gradients)[源代码]

衰减权重。

一种减少深度学习神经网络模型过拟合的方法。继承 mindspore.nn.Optimizer 自定义优化器时,可调用该接口进行权重衰减。

参数:
  • gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。

返回:

tuple[Tensor],衰减权重后的梯度。

flatten_gradients(gradients)[源代码]

如果网络参数已经使用了连续内存,则将梯度也按数据类型分组使用连续内存。

一种网络参数和梯度都使用连续内存的性能优化方法。继承 mindspore.nn.Optimizer 自定义优化器时,需调用该接口使能连续内存优化。

参数:
  • gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。

返回:

tuple[Tensor],如果网络参数使用了连续内存,则返回按数据类型分组使用连续内存后的梯度,否则原样返回输入的梯度。

get_lr()[源代码]

优化器调用该接口获取当前步骤(step)的学习率。继承 mindspore.nn.Optimizer 自定义优化器时,可在参数更新前调用该接口获取学习率。

返回:

float,当前步骤的学习率。

get_lr_parameter(param)[源代码]

用于在使用网络参数分组功能,且为不同组别配置不同的学习率时,获取指定参数的学习率。

参数:
  • param (Union[Parameter, list[Parameter]]) - ParameterParameter 列表。

返回:

单个 ParameterParameter 列表。如果使用了动态学习率,返回用于计算学习率的 LearningRateScheduleLearningRateSchedule 列表。

样例:

>>> from mindspore import nn
>>> # Define the network structure of LeNet5. Refer to
>>> # https://gitee.com/mindspore/docs/blob/r2.3.0rc2/docs/mindspore/code/lenet.py
>>> net = LeNet5()
>>> conv_params = list(filter(lambda x: 'conv' in x.name, net.trainable_params()))
>>> no_conv_params = list(filter(lambda x: 'conv' not in x.name, net.trainable_params()))
>>> group_params = [{'params': conv_params, 'lr': 0.05},
...                 {'params': no_conv_params, 'lr': 0.01}]
>>> optim = nn.Momentum(group_params, learning_rate=0.1, momentum=0.9, weight_decay=0.0)
>>> conv_lr = optim.get_lr_parameter(conv_params)
>>> print(conv_lr[0].asnumpy())
0.05
get_weight_decay()[源代码]

优化器调用该接口获取当前步骤(step)的weight decay值。继承 mindspore.nn.Optimizer 自定义优化器时,可在参数更新前调用该接口获取weight decay值。

返回:

float,当前步骤的weight decay值。

gradients_centralization(gradients)[源代码]

梯度中心化。

一种优化卷积层参数以提高深度学习神经网络模型训练速度的方法。继承 mindspore.nn.Optimizer 自定义优化器时,可调用该接口进行梯度中心化。

参数:
  • gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。

返回:

tuple[Tensor],梯度中心化后的梯度。

scale_grad(gradients)[源代码]

用于在混合精度场景还原梯度。

继承 mindspore.nn.Optimizer 自定义优化器时,可调用该接口还原梯度。

参数:
  • gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。

返回:

tuple[Tensor],还原后的梯度。

property target

该属性用于指定在主机(host)上还是设备(device)上更新参数。输入类型为str,只能是’CPU’,’Ascend’或’GPU’。

property unique

该属性表示是否在优化器中进行梯度去重,通常用于稀疏网络。如果梯度是稀疏的则设置为True。如果前向稀疏网络已对权重去重,即梯度是稠密的,则设置为False。未进行任何配置时默认为True。