mindspore.nn.Optimizer
- class mindspore.nn.Optimizer(learning_rate, parameters, weight_decay=0.0, loss_scale=1.0)[源代码]
用于参数更新的优化器基类。不要直接使用这个类,请实例化它的一个子类。详见 优化器 。
优化器支持参数分组。当参数分组时,每组参数均可配置不同的学习率(lr )、权重衰减(weight_decay)和梯度中心化(grad_centralization)策略。
说明
在参数未分组时,优化器配置的 weight_decay 应用于名称不含”beta”或”gamma”的网络参数。
用户可以分组调整权重衰减策略。分组时,每组网络参数均可配置 weight_decay 。若未配置,则该组网络参数使用优化器中配置的 weight_decay 。
- 参数:
learning_rate (Union[float, int, Tensor, Iterable, LearningRateSchedule]) -
float - 固定的学习率。必须大于等于零。
int - 固定的学习率。必须大于等于零。整数类型会被转换为浮点数。
Tensor - 可以是标量或一维向量。标量是固定的学习率。一维向量是动态的学习率,第i步将取向量中第i个值作为学习率。
Iterable - 动态的学习率。第i步将取迭代器第i个值作为学习率。
LearningRateSchedule - 动态的学习率。在训练过程中,优化器将使用步数(step)作为输入,调用 LearningRateSchedule 实例来计算当前学习率。
parameters (Union[list[Parameter], list[dict]]) - 必须是 Parameter 组成的列表或字典组成的列表。当列表元素是字典时,字典的键可以是”params”、”lr”、”weight_decay”、”grad_centralization”和”order_params”:
params - 必填。当前组别的权重,该值必须是 Parameter 列表。
lr - 可选。如果键中存在”lr”,则使用对应的值作为学习率。如果没有,则使用优化器中的参数 learning_rate 作为学习率。支持固定和动态学习率。
weight_decay - 可选。如果键中存在”weight_decay”,则使用对应的值作为权重衰减值。如果没有,则使用优化器中配置的 weight_decay 作为权重衰减值。
grad_centralization - 可选。如果键中存在”grad_centralization”,则使用对应的值,该值必须为布尔类型。如果没有,则认为 grad_centralization 为False。该参数仅适用于卷积层。
order_params - 可选。值的顺序是参数更新的顺序。当使用参数分组功能时,通常使用该配置项保持 parameters 的顺序以提升性能。如果键中存在”order_params”,则会忽略该组配置中的其他键。”order_params”中的参数必须在某一组 params 参数中。
weight_decay (Union[float, int]) - 权重衰减的整数或浮点值。必须等于或大于0。如果 weight_decay 是整数,它将被转换为浮点数。默认值:
0.0
。
loss_scale (float) - 梯度缩放系数,必须大于0.0。如果 loss_scale 是整数,它将被转换为浮点数。通常使用默认值,仅当训练时使用了 FixedLossScaleManager,且 FixedLossScaleManager 的 drop_overflow_update 属性配置为
False
时,此值需要与 FixedLossScaleManager 中的 loss_scale 相同。有关更多详细信息,请参阅mindspore.amp.FixedLossScaleManager
。默认值:1.0
。
- 异常:
TypeError - learning_rate 不是int、float、Tensor、Iterable或LearningRateSchedule。
TypeError - parameters 的元素不是Parameter或字典。
TypeError - loss_scale 不是float。
TypeError - weight_decay 不是float或int。
ValueError - loss_scale 小于或等于0。
ValueError - weight_decay 小于0。
ValueError - learning_rate 是一个Tensor,但是Tensor的维度大于1。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> import mindspore as ms >>> from mindspore import nn >>> import numpy as np >>> import mindspore >>> from mindspore import nn, ops, Tensor >>> >>> class MyMomentum(nn.Optimizer): ... def __init__(self, params, learning_rate, momentum=0.9): ... super(MyMomentum, self).__init__(learning_rate, params) ... self.moments = self.parameters.clone(prefix="moments", init="zeros") ... self.momentum = momentum ... self.opt = ops.ApplyMomentum() ... ... def construct(self, gradients): ... params = self.parameters ... lr = self.get_lr() ... gradients = self.flatten_gradients(gradients) ... gradients = self.decay_weight(gradients) ... gradients = self.gradients_centralization(gradients) ... gradients = self.scale_grad(gradients) ... ... success = None ... for param, mom, grad in zip(params, self.moments, gradients): ... success = self.opt(param, mom, lr, grad, self.momentum) ... return success >>> >>> net = nn.Dense(2, 3) >>> loss_fn = nn.MAELoss() >>> opt = MyMomentum(net.trainable_params(), 0.01) >>> >>> device_target = opt.target >>> opt_unique = opt.unique >>> weight_decay_value = opt.get_weight_decay() >>> >>> def forward_fn(data, label): ... logits = net(data) ... loss = loss_fn(logits, label) ... return loss, logits >>> >>> grad_fn = mindspore.value_and_grad(forward_fn, None, opt.parameters, has_aux=True) >>> >>> def train_step(data, label): ... (loss, _), grads = grad_fn(data, label) ... opt(grads) ... return loss >>> >>> data = Tensor(np.random.rand(4, 10, 2), mindspore.dtype.float32) >>> label = Tensor(np.random.rand(4, 10, 3), mindspore.dtype.float32) >>> train_step(data, label)
- broadcast_params(optim_result)[源代码]
按参数组的顺序进行参数广播。
- 参数:
optim_result (bool) - 参数更新结果。该输入用来保证参数更新完成后才执行参数广播。
- 返回:
bool,状态标志。
- decay_weight(gradients)[源代码]
衰减权重。
一种减少深度学习神经网络模型过拟合的方法。继承
mindspore.nn.Optimizer
自定义优化器时,可调用该接口进行权重衰减。- 参数:
gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。
- 返回:
tuple[Tensor],衰减权重后的梯度。
- flatten_gradients(gradients)[源代码]
如果网络参数已经使用了连续内存,则将梯度也按数据类型分组使用连续内存。
一种网络参数和梯度都使用连续内存的性能优化方法。继承
mindspore.nn.Optimizer
自定义优化器时,需调用该接口使能连续内存优化。- 参数:
gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。
- 返回:
tuple[Tensor],如果网络参数使用了连续内存,则返回按数据类型分组使用连续内存后的梯度,否则原样返回输入的梯度。
- get_lr()[源代码]
优化器调用该接口获取当前步骤(step)的学习率。继承
mindspore.nn.Optimizer
自定义优化器时,可在参数更新前调用该接口获取学习率。- 返回:
float,当前步骤的学习率。
- get_lr_parameter(param)[源代码]
用于在使用网络参数分组功能,且为不同组别配置不同的学习率时,获取指定参数的学习率。
- 参数:
param (Union[Parameter, list[Parameter]]) - Parameter 或 Parameter 列表。
- 返回:
单个 Parameter 或 Parameter 列表。如果使用了动态学习率,返回用于计算学习率的 LearningRateSchedule 或 LearningRateSchedule 列表。
样例:
>>> from mindspore import nn >>> # Define the network structure of LeNet5. Refer to >>> # https://gitee.com/mindspore/docs/blob/r2.3.0rc2/docs/mindspore/code/lenet.py >>> net = LeNet5() >>> conv_params = list(filter(lambda x: 'conv' in x.name, net.trainable_params())) >>> no_conv_params = list(filter(lambda x: 'conv' not in x.name, net.trainable_params())) >>> group_params = [{'params': conv_params, 'lr': 0.05}, ... {'params': no_conv_params, 'lr': 0.01}] >>> optim = nn.Momentum(group_params, learning_rate=0.1, momentum=0.9, weight_decay=0.0) >>> conv_lr = optim.get_lr_parameter(conv_params) >>> print(conv_lr[0].asnumpy()) 0.05
- get_weight_decay()[源代码]
优化器调用该接口获取当前步骤(step)的weight decay值。继承
mindspore.nn.Optimizer
自定义优化器时,可在参数更新前调用该接口获取weight decay值。- 返回:
float,当前步骤的weight decay值。
- gradients_centralization(gradients)[源代码]
梯度中心化。
一种优化卷积层参数以提高深度学习神经网络模型训练速度的方法。继承
mindspore.nn.Optimizer
自定义优化器时,可调用该接口进行梯度中心化。- 参数:
gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。
- 返回:
tuple[Tensor],梯度中心化后的梯度。
- scale_grad(gradients)[源代码]
用于在混合精度场景还原梯度。
继承
mindspore.nn.Optimizer
自定义优化器时,可调用该接口还原梯度。- 参数:
gradients (tuple[Tensor]) - 网络参数的梯度,形状(shape)与网络参数相同。
- 返回:
tuple[Tensor],还原后的梯度。
- property target
该属性用于指定在主机(host)上还是设备(device)上更新参数。输入类型为str,只能是’CPU’,’Ascend’或’GPU’。
- property unique
该属性表示是否在优化器中进行梯度去重,通常用于稀疏网络。如果梯度是稀疏的则设置为True。如果前向稀疏网络已对权重去重,即梯度是稠密的,则设置为False。未进行任何配置时默认为True。