文档反馈

问题文档片段

问题文档片段包含公式时,显示为空格。

提交类型
issue

有点复杂...

找人问问吧。

请选择提交类型

问题类型
规范和低错类

- 规范和低错类:

- 错别字或拼写错误,标点符号使用错误、公式错误或显示异常。

- 链接错误、空单元格、格式错误。

- 英文中包含中文字符。

- 界面和描述不一致,但不影响操作。

- 表述不通顺,但不影响理解。

- 版本号不匹配:如软件包名称、界面版本号。

易用性

- 易用性:

- 关键步骤错误或缺失,无法指导用户完成任务。

- 缺少主要功能描述、关键词解释、必要前提条件、注意事项等。

- 描述内容存在歧义指代不明、上下文矛盾。

- 逻辑不清晰,该分类、分项、分步骤的没有给出。

正确性

- 正确性:

- 技术原理、功能、支持平台、参数类型、异常报错等描述和软件实现不一致。

- 原理图、架构图等存在错误。

- 命令、命令参数等错误。

- 代码片段错误。

- 命令无法完成对应功能。

- 界面错误,无法指导操作。

- 代码样例运行报错、运行结果不符。

风险提示

- 风险提示:

- 对重要数据或系统存在风险的操作,缺少安全提示。

内容合规

- 内容合规:

- 违反法律法规,涉及政治、领土主权等敏感词。

- 内容侵权。

问题描述

请勾选同意隐私声明

mindspore.ops.LayerNorm

class mindspore.ops.LayerNorm(begin_norm_axis=1, begin_params_axis=1, epsilon=1e-07)[源代码]

在输入Tensor上应用层归一化(Layer Normalization)。

此算子将在给定的轴上对输入进行层归一化。Layer Normalization 描述了LayerNorm。

y=xmeanvariance+ϵγ+β

其中 γ 是Scalar, β 是偏置项, ϵ 是精度值。

参数:
  • begin_norm_axis (int) - 指定 input_x 需进行层归一化的起始维度,其值必须在[-1, rank(input))范围内。默认值:1。

  • begin_params_axis (int) - 指定输入参数(gamma, beta) 需进行层归一化的开始轴,其值必须在[-1, rank(input))范围内。默认值:1。

  • epsilon (float) - 添加到分母中的值,以确保数据稳定性。默认值:1e-7。

输入:
  • input_x (Tensor) - LayerNorm的输入,shape为 (N,) 的Tensor。

  • gamma (Tensor) - 可学习参数 γ ,shape为 (P0,,Pbegin_params_axis) 的Tensor。

  • beta (Tensor) - 可学习参数 β 。shape为 (P0,,Pbegin_params_axis) 的Tensor。

输出:

tuple[Tensor],3个Tensor组成的tuple,层归一化输入和更新后的参数。

  • output_x (Tensor) - 层归一化输入,shape为是 (N,C) 。数据类型和shape与 input_x 相同。

  • mean (Tensor) - 输入的均值,shape为 (C,) 的Tensor。

  • variance (Tensor) - 输入的方差,shape为 (C,) 的Tensor。

异常:
  • TypeError - begin_norm_axisbegin_params_axis 不是int。

  • TypeError - epsilon 不是float。

  • TypeError - input_xgammabeta 不是Tensor。

支持平台:

Ascend GPU CPU

样例:

>>> input_x = Tensor(np.array([[1, 2, 3], [1, 2, 3]]), mindspore.float32)
>>> gamma = Tensor(np.ones([3]), mindspore.float32)
>>> beta = Tensor(np.ones([3]), mindspore.float32)
>>> layer_norm = ops.LayerNorm()
>>> output, mean, variance = layer_norm(input_x, gamma, beta)
>>> print(output)
[[-0.2247448  1.         2.2247448]
 [-0.2247448  1.         2.2247448]]
>>> print(mean)
[[2.]
 [2.]]
>>> print(variance)
[[0.6666667]
 [0.6666667]]