文档反馈

问题文档片段

问题文档片段包含公式时，显示为空格。

提交类型

issue

有点复杂...

找人问问吧。

PR

小问题，全程线上修改...

一键搞定！

请选择提交类型

问题类型

规范和低错类

- 规范和低错类：

- 错别字或拼写错误，标点符号使用错误、公式错误或显示异常。

- 链接错误、空单元格、格式错误。

- 英文中包含中文字符。

- 界面和描述不一致，但不影响操作。

- 表述不通顺，但不影响理解。

- 版本号不匹配：如软件包名称、界面版本号。

易用性

- 易用性：

- 关键步骤错误或缺失，无法指导用户完成任务。

- 缺少主要功能描述、关键词解释、必要前提条件、注意事项等。

- 描述内容存在歧义指代不明、上下文矛盾。

- 逻辑不清晰，该分类、分项、分步骤的没有给出。

正确性

- 正确性：

- 技术原理、功能、支持平台、参数类型、异常报错等描述和软件实现不一致。

- 原理图、架构图等存在错误。

- 命令、命令参数等错误。

- 代码片段错误。

- 命令无法完成对应功能。

- 界面错误，无法指导操作。

- 代码样例运行报错、运行结果不符。

风险提示

- 风险提示：

- 对重要数据或系统存在风险的操作，缺少安全提示。

内容合规

- 内容合规：

- 违反法律法规，涉及政治、领土主权等敏感词。

- 内容侵权。

请选择问题类型

问题描述

点击输入详细问题描述，以帮助我们快速定位问题。

文档反馈

mindspore.nn.AdaSumByGradWrapCell

class mindspore.nn.AdaSumByGradWrapCell(optimizer)[源代码]

Adaptive Summation（AdaSum）算法的实现，根据梯度计算。应用于semi_auto_parallel/auto_parallel模式。

请参阅论文 AdaSum: Scaling Distributed Training with Adaptive Summation。

公式如下：

\begin{array}{r} \begin{array}{ll} w_{t + 1} = w_{t} - α \cdot A d a s u m (g_{1}, g_{2}) \\ w_{t + 1} = w_{t} - α \cdot [(1 - \frac{g_{2}^{T} \cdot g_{1}}{2 \cdot {‖ g_{1} ‖}^{2}}) \cdot g_{1} + (1 - \frac{g_{1}^{T} \cdot g_{2}}{2 \cdot {‖ g_{2} ‖}^{2}}) \cdot g_{2}] \end{array} \end{array}

在本实现中， $g$ 代表权重的梯度，下标代表数据并行维度下不同的设备。

说明

本接口推荐应用于半自动并行或者全自动并行模式。针对数据并行模式，推荐使用mindspore.boost功能以使用AdaSum。
使用本接口时，训练的卡的数量必须是2的幂，并且至少需要16张卡。目前，使用本接口时不支持优化器并行和流水线并行。

参数：

optimizer (Union[Cell]) - 用于更新权重的优化器。优化器的构造函数只允许一个输入。

输入：

grads (tuple[Tensor]) - params 的梯度，shape与 params 相同，与所传优化器的输入一致。

异常：

RuntimeError - parallel_mode 使用了 stand_alone 模式， AdaSum仅支持在分布式场景下使用。
RuntimeError - 同时使用了优化器并行，暂时不支持在优化器并行场景下使用AdaSum。
RuntimeError - 同时使用了流水线并行，暂时不支持在流水线并行场景下使用AdaSum。
RuntimeError - device_num 不是2的幂，或者小于16。

支持平台：

Ascend GPU

样例：

>>> import mindspore as ms
>>> from mindspore import nn
>>> # Define the network structure of LeNet5. Refer to
>>> # https://gitee.com/mindspore/docs/blob/master/docs/mindspore/code/lenet.py
>>> net = LeNet5()
>>> optim = nn.AdaSumByGradWrapCell(nn.Momentum(params=net.trainable_params(), learning_rate=0.1, momentum=0.9))
>>> loss = nn.SoftmaxCrossEntropyWithLogits()
>>> model = ms.train.Model(net, loss_fn=loss, optimizer=optim, metrics=None)