文档反馈

问题文档片段

问题文档片段包含公式时,显示为空格。

提交类型
issue

有点复杂...

找人问问吧。

请选择提交类型

问题类型
规范和低错类

- 规范和低错类:

- 错别字或拼写错误,标点符号使用错误、公式错误或显示异常。

- 链接错误、空单元格、格式错误。

- 英文中包含中文字符。

- 界面和描述不一致,但不影响操作。

- 表述不通顺,但不影响理解。

- 版本号不匹配:如软件包名称、界面版本号。

易用性

- 易用性:

- 关键步骤错误或缺失,无法指导用户完成任务。

- 缺少主要功能描述、关键词解释、必要前提条件、注意事项等。

- 描述内容存在歧义指代不明、上下文矛盾。

- 逻辑不清晰,该分类、分项、分步骤的没有给出。

正确性

- 正确性:

- 技术原理、功能、支持平台、参数类型、异常报错等描述和软件实现不一致。

- 原理图、架构图等存在错误。

- 命令、命令参数等错误。

- 代码片段错误。

- 命令无法完成对应功能。

- 界面错误,无法指导操作。

- 代码样例运行报错、运行结果不符。

风险提示

- 风险提示:

- 对重要数据或系统存在风险的操作,缺少安全提示。

内容合规

- 内容合规:

- 违反法律法规,涉及政治、领土主权等敏感词。

- 内容侵权。

请选择问题类型

问题描述

点击输入详细问题描述,以帮助我们快速定位问题。

mindspore.ops.gelu

mindspore.ops.gelu(input_x, approximate='none')[源代码]

高斯误差线性单元激活函数。

GeLU的描述可以在 Gaussian Error Linear Units (GELUs) 这篇文章中找到。 也可以去查询 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

approximatenone ,GELU的定义如下:

GELU(xi)=xiP(X<xi),

其中 P 是标准高斯分布的累积分布函数, xi 是输入的元素。

approximatetanh ,GELU的定义如下:

GELU(xi)=0.5xi(1+tanh((2/π)(xi+0.044715xi3)))

GELU相关图参见 GELU

参数:
  • input_x (Tensor) - 用于计算GELU的Tensor。数据类型为float16、float32、float64。

  • approximate (str) - gelu近似算法。有两种:'none''tanh' 。默认值: 'none'

返回:

Tensor,具有与 input_x 相同的数据类型和shape。

异常:
  • TypeError - 如果 input_x 的数据类型不是Tensor。

  • TypeError - input_x 的数据类型既不是float16、float32或者float64。

  • ValueError - 如果 approximate 的值既不是 none 也不是 tanh

支持平台:

Ascend GPU CPU

样例:

>>> import mindspore
>>> from mindspore import Tensor, ops
>>> x = Tensor([1.0, 2.0, 3.0], mindspore.float32)
>>> result = ops.gelu(x)
>>> print(result)
[0.841192 1.9545976 2.9963627]