mindspore.nn.SyncBatchNorm

class mindspore.nn.SyncBatchNorm(num_features, eps=1e-05, momentum=0.9, affine=True, gamma_init='ones', beta_init='zeros', moving_mean_init='zeros', moving_var_init='ones', use_batch_statistics=None, process_groups=None, dtype=mstype.float32)[源代码]

在N维输入上进行跨设备同步批归一化（Batch Normalization，BN）。

同步BN是跨设备的。BN的实现仅对每个设备中的数据进行归一化。同步BN将归一化组内的输入。描述见论文 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 。使用mini-batch数据和和学习参数进行训练，参数见如下公式。

\[y = \frac{x - \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta\]

说明

目前，SyncBatchNorm仅支持二维和四维输入。 \(\gamma\) 是通过训练学习出的scale值，\(\beta\) 是通过训练学习出的shift值。

参数：

num_features (int) - 指定输入Tensor的通道数量，输入Tensor的size为 \((N, C, H, W)\) 。
eps (float) - \(\epsilon\) 添加到分母中的值，以确保数值稳定。默认值： 1e-5 。
momentum (float) - 动态均值和动态方差所使用的动量。默认值： 0.9 。
affine (bool) - bool类型。设置为True时， \(\gamma\) 和 \(\beta\) 为可学习参数。默认值： True 。
gamma_init (Union[Tensor, str, Initializer, numbers.Number]) - \(\gamma\) 参数的初始化方法。str的值引用自函数 mindspore.common.initializer ，包括 'zeros' 、 'ones' 、 'xavier_uniform' 、 'he_uniform' 等。默认值： 'ones' 。
beta_init (Union[Tensor, str, Initializer, numbers.Number]) - \(\beta\) 参数的初始化方法。str的值引用自函数 mindspore.common.initializer ，包括 'zeros' 、 'ones' 、 'xavier_uniform' 、'he_uniform' 等。默认值： 'zeros' 。
moving_mean_init (Union[Tensor, str, Initializer, numbers.Number]) - 动态平均值的初始化方法。str的值引用自函数 mindspore.common.initializer ，包括 'zeros' 、 'ones' 、 'xavier_uniform' 、'he_uniform' 等。默认值： 'zeros' 。
moving_var_init (Union[Tensor, str, Initializer, numbers.Number]) - 动态方差的初始化方法。str的值引用自函数 mindspore.common.initializer ，包括 'zeros' 、 'ones' 、 'xavier_uniform' 、 'he_uniform' 等。默认值： 'ones' 。
use_batch_statistics (bool) - 如果为 True ，则使用当前批次数据的平均值和方差值。如果为 False ，则使用指定的平均值和方差值。如果为 None ，则训练过程将使用当前批次数据的均值和方差，并跟踪动态均值和动态方差，验证过程将使用动态均值和动态方差。默认值：None 。
process_groups (list) - 将设备划分为不同的同步组的列表，包含N个列表。每个列表都包含需要在同一组中同步的rank ID，其数据类型为整数且数值范围必须为[0, rank_size)并且各不相同。如果为 None ，表示跨所有设备同步。默认值： None 。
dtype (mindspore.dtype) - Parameters的dtype。默认值： mstype.float32 。

输入：

x （Tensor） - shape为 \((N, C_{in}, H_{in}, W_{in})\) 的Tensor。

输出：

Tensor，归一化后的Tensor，shape为 \((N, C_{out}, H_{out}, W_{out})\) 。

异常：

TypeError - num_features 不是int。
TypeError - eps 不是float。
TypeError - process_groups 不是list。
ValueError - num_features 小于1。
ValueError - momentum 不在范围[0, 1]内。
ValueError - process_groups 中的rank ID不在[0, rank_size)范围内。

支持平台：

Ascend

样例：

说明

运行以下样例之前，需要配置好通信环境变量。

针对Ascend设备，用户需要准备rank表，设置rank_id和device_id，详见 rank table启动。

针对GPU设备，用户需要准备host文件和mpi，详见 mpirun启动。

针对CPU设备，用户需要编写动态组网启动脚本，详见动态组网启动。

该样例需要在多卡环境下运行。

>>> import numpy as np
>>> import mindspore as ms
>>> from mindspore.communication import init
>>>
>>> ms.set_context(mode=ms.GRAPH_MODE)
>>> init()
>>> ms.reset_auto_parallel_context()
>>> ms.set_auto_parallel_context(parallel_mode=ms.ParallelMode.DATA_PARALLEL)
>>> sync_bn_op = ms.nn.SyncBatchNorm(num_features=3, process_groups=[[0, 1], [2, 3]])
>>> x = ms.Tensor(np.ones([1, 3, 2, 2]), ms.float32)
>>> output = sync_bn_op(x)
>>> print(output)
[[[[ 0.999995 0.999995 ]
[ 0.999995 0.999995 ]]
[[ 0.999995 0.999995 ]
[ 0.999995 0.999995 ]]
[[ 0.999995 0.999995 ]
[ 0.999995 0.999995 ]]]]