mindspore.nn.BatchNorm1d
- class mindspore.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.9, affine=True, gamma_init='ones', beta_init='zeros', moving_mean_init='zeros', moving_var_init='ones', use_batch_statistics=None, data_format='NCHW', dtype=mstype.float32)[源代码]
在二维或三维输入(mini-batch 一维输入或二维输入)上应用批归一化(Batch Normalization Layer),避免内部协变量偏移。归一化在卷积网络中被广泛的应用。请见论文 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 。
使用mini-batch数据和学习参数进行训练,计算公式如下。
\[y = \frac{x - \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta\]说明
BatchNorm的实现在图模式和PyNative模式下是不同的,因此不建议在网络初始化后更改其模式。
- 参数:
num_features (int) - 特征数量或输入 x 中的通道数量 C 。
eps (float) - \(\epsilon\) 加在分母上的值,以确保数值稳定。默认值:
1e-5
。momentum (float) - 动态均值和动态方差所使用的动量。默认值:
0.9
。affine (bool) - bool类型。设置为
True
时,可学习到 \(\gamma\) 和 \(\beta\) 值。默认值:True
。gamma_init (Union[Tensor, str, Initializer, numbers.Number]) - \(\gamma\) 参数的初始化方法。str的值引用自函数 mindspore.common.initializer ,包括
'zeros'
、'ones'
等。默认值:'ones'
。beta_init (Union[Tensor, str, Initializer, numbers.Number]) - \(\beta\) 参数的初始化方法。str的值引用自函数 mindspore.common.initializer ,包括
'zeros'
、'ones'
等。默认值:'zeros'
。moving_mean_init (Union[Tensor, str, Initializer, numbers.Number]) - 动态平均值的初始化方法。str的值引用自函数 mindspore.common.initializer ,包括
'zeros'
、'ones'
等。默认值:'zeros'
。moving_var_init (Union[Tensor, str, Initializer, numbers.Number]) - 动态方差的初始化方法。str的值引用自函数 mindspore.common.initializer ,包括
'zeros'
、'ones'
等。默认值:'ones'
。use_batch_statistics (bool) - 如果为
True
,则使用当前批次数据的平均值和方差值。如果为False
,则使用指定的平均值和方差值。如果为None
,训练时,将使用当前批次数据的均值和方差,并更新动态均值和方差,验证过程将直接使用动态均值和方差。默认值:None
。data_format (str) - 数据格式可为
'NHWC'
或'NCHW'
。默认值:'NCHW'
。dtype (
mindspore.dtype
) - Parameters的dtype。默认值:mstype.float32
。
- 输入:
x (Tensor) - 输入shape为 \((N, C)\) 或 \((N, C, L)\) 的Tensor,其中 N 为batch, C 为特征数量或通道数量, L 为序列长度。支持数据类型:float16、float32。
- 输出:
Tensor,归一化后的Tensor,shape为 \((N, C)\) 或 \((N, C, L)\) 。
- 异常:
TypeError - num_features 不是整数。
TypeError - eps 不是浮点数。
ValueError - num_features 小于1。
ValueError - momentum 不在范围[0, 1]内。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> import numpy as np >>> import mindspore as ms >>> net = ms.nn.BatchNorm1d(num_features=4) >>> x = ms.Tensor(np.array([[0.7, 0.5, 0.5, 0.6], ... [0.5, 0.4, 0.6, 0.9]]).astype(np.float32)) >>> output = net(x) >>> print(output) [[ 0.6999965 0.4999975 0.4999975 0.59999704 ] [ 0.4999975 0.399998 0.59999704 0.89999545 ]]