mindspore.ops.layer_norm
- mindspore.ops.layer_norm(input, normalized_shape, weight=None, bias=None, eps=1e-05)[源代码]
在mini-batch输入上应用层归一化(Layer Normalization)。
层归一化在递归神经网络中被广泛的应用。适用单个训练用例的mini-batch输入上应用归一化,详见论文 Layer Normalization 。
与批归一化(Batch Normalization)不同,层归一化在训练和测试时执行完全相同的计算。 应用于所有通道和像素,即使batch_size=1也适用。公式如下:
\[y = \frac{x - \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta\]其中 \(\gamma\) 是通过训练学习出的weight值,\(\beta\) 是通过训练学习出的bias值。
- 参数:
input (Tensor) - input 的shape为 \((N, *)\) , 其中 \(*\) 表示任意的附加维度。
normalized_shape (Union(int, tuple[int], list[int])) - 表示需要进行归一化的shape, normalized_shape 等于 input_shape[begin_norm_axis:] , begin_norm_axis 代表归一化要开始的轴。
weight (Tensor, 可选) - 可学习的权重值,shape为 normalized_shape ,默认值:
None
。为None
时,初始化为1
。bias (Tensor, 可选) - 可学习的偏移值,shape为 normalized_shape ,默认值:
None
。为None
时,初始化为0
。eps (float, 可选) - 添加到分母中的值(\(\epsilon\)),以确保数值稳定。默认值:
1e-5
。
- 返回:
Tensor,归一化后的Tensor,shape和数据类型与 input 相同。
- 异常:
TypeError - input 不是Tensor。
TypeError - normalized_shape 既不是list也不是tuple。
TypeError - eps 不是float。
- 支持平台:
Ascend
样例:
>>> import mindspore >>> import numpy as np >>> from mindspore import Tensor, ops >>> input_x = Tensor(np.array([[1, 2, 3], [1, 2, 3]]), mindspore.float32) >>> normalized_shape = (3,) >>> gamma = Tensor(np.ones(normalized_shape), mindspore.float32) >>> beta = Tensor(np.zeros(normalized_shape), mindspore.float32) >>> eps = 1e-7 >>> output = ops.layer_norm(input_x, normalized_shape, gamma, beta, eps) >>> print(output) [[-1.2247448 0. 1.2247448] [-1.2247448 0. 1.2247448]]