文档反馈

问题文档片段

问题文档片段包含公式时，显示为空格。

提交类型

issue

有点复杂...

找人问问吧。

PR

小问题，全程线上修改...

一键搞定！

请选择提交类型

问题类型

规范和低错类

- 规范和低错类：

- 错别字或拼写错误，标点符号使用错误、公式错误或显示异常。

- 链接错误、空单元格、格式错误。

- 英文中包含中文字符。

- 界面和描述不一致，但不影响操作。

- 表述不通顺，但不影响理解。

- 版本号不匹配：如软件包名称、界面版本号。

易用性

- 易用性：

- 关键步骤错误或缺失，无法指导用户完成任务。

- 缺少主要功能描述、关键词解释、必要前提条件、注意事项等。

- 描述内容存在歧义指代不明、上下文矛盾。

- 逻辑不清晰，该分类、分项、分步骤的没有给出。

正确性

- 正确性：

- 技术原理、功能、支持平台、参数类型、异常报错等描述和软件实现不一致。

- 原理图、架构图等存在错误。

- 命令、命令参数等错误。

- 代码片段错误。

- 命令无法完成对应功能。

- 界面错误，无法指导操作。

- 代码样例运行报错、运行结果不符。

风险提示

- 风险提示：

- 对重要数据或系统存在风险的操作，缺少安全提示。

内容合规

- 内容合规：

- 违反法律法规，涉及政治、领土主权等敏感词。

- 内容侵权。

请选择问题类型

问题描述

点击输入详细问题描述，以帮助我们快速定位问题。

提交

文档反馈

比较与torch.optim.lr_scheduler.ExponentialLR的差异

torch.optim.lr_scheduler.ExponentialLR

torch.optim.lr_scheduler.ExponentialLR(
    optimizer,
    gamma,
    last_epoch=-1,
    verbose=False
)

更多内容详见torch.optim.lr_scheduler.ExponentialLR。

mindspore.nn.exponential_decay_lr

mindspore.nn.exponential_decay_lr(
      learning_rate,
      decay_rate,
      total_step,
      step_per_epoch,
      decay_epoch,
      is_stair=False
)

更多内容详见mindspore.nn.exponential_decay_lr。

mindspore.nn.ExponentialDecayLR

mindspore.nn.ExponentialDecayLR(
  learning_rate,
  decay_rate,
  decay_steps,
  is_stair=False
)

更多内容详见mindspore.nn.ExponentialDecayLR。

差异对比

PyTorch（torch.optim.lr_scheduler.ExponentialLR）：计算方式为 $lr\ast gamm{a}^{epoch}$ 。使用时，优化器作为输入，通过调用 step 方法进行学习率的更新。 verbose 为True时，每一次更新打印相关信息。

MindSpore（mindspore.nn.exponential_decay_lr）：计算方式为 $lr\ast decay\mathrm{\_}rat{e}^p$ ， exponential_decay_lr 预生成学习率列表，将列表传入优化器。

分类	子类	PyTorch	MindSpore	差异
参数	参数1	optimizer	-	PyTorch应用的优化器，MindSpore无此参数
	参数2	gamma	decay_rate	衰减学习率的参数，功能一致，参数名不同
	参数3	last_epoch	-	MindSpore无此参数
	参数4	verbose	-	PyTorch verbose 为True时，每一次更新打印相关信息。MindSpore无此参数
	参数5		learning_rate	MindSpore设置学习率的初始值
	参数6		total_step	MindSpore的step总数
	参数7		step_per_epoch	MindSpore每个epoch的step数
	参数8	-	decay_steps	MindSpore进行衰减的step数
	参数9	-	is_stair	MindSpore is_stair 为True时，学习率每 decay_steps 衰减一次

MindSpore（mindspore.nn.ExponentialDecayLR）：计算方式为 $lr\ast decay\mathrm{\_}rat{e}^p$ ， ExponentialDecayLR 是通过计算图的方式传入优化器中参与训练。

分类	子类	PyTorch	MindSpore	差异
参数	参数1	optimizer	-	PyTorch应用的优化器，MindSpore无此参数
	参数2	gamma	decay_rate	衰减学习率的参数，功能一致，参数名不同
	参数3	last_epoch	-	MindSpore无此参数
	参数4	verbose	-	PyTorch的 verbose 为True时，每一次更新打印相关信息。MindSpore无此参数
	参数5		learning_rate	MindSpore设置学习率的初始值
	参数6	-	decay_steps	MindSpore进行衰减的step数
	参数7	-	is_stair	MindSpore is_stair 为True时，学习率每 decay_steps 衰减一次

代码示例

# In MindSpore：
import mindspore as ms
from mindspore import nn

# In MindSpore：exponential_decay_lr
learning_rate = 0.1
decay_rate = 0.9
total_step = 6
step_per_epoch = 2
decay_epoch = 1
output = nn.exponential_decay_lr(learning_rate, decay_rate, total_step, step_per_epoch, decay_epoch)
print(output)
# Out
# [0.1, 0.1, 0.09000000000000001, 0.09000000000000001, 0.08100000000000002, 0.08100000000000002]

# In MindSpore：ExponentialDecayLR
learning_rate = 0.1
decay_rate = 0.9
decay_steps = 4
global_step = ms.Tensor(2, ms.int32)
exponential_decay_lr = nn.ExponentialDecayLR(learning_rate, decay_rate, decay_steps)
result = exponential_decay_lr(global_step)
print(result)
# Out
# 0.094868325

# In torch:
import torch
import numpy as np
from torch import optim

model = torch.nn.Sequential(torch.nn.Linear(20, 1))
optimizer = optim.SGD(model.parameters(), 0.1)
exponential_decay_lr = optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.9)
myloss = torch.nn.MSELoss()
dataset = [(torch.tensor(np.random.rand(1, 20).astype(np.float32)), torch.tensor([1.]))]

for epoch in range(5):
    for input, target in dataset:
        optimizer.zero_grad()
        output = model(input)
        loss = myloss(output.view(-1), target)
        loss.backward()
        optimizer.step()
    exponential_decay_lr.step()
    print(exponential_decay_lr.get_last_lr())
# Out
# [0.09000000000000001]
# [0.08100000000000002]
# [0.07290000000000002]
# [0.06561000000000002]
# [0.05904900000000002]