mindspore.mint.nn.functional.gelu

mindspore.mint.nn.functional.gelu(input, approximate='none')[源代码]

高斯误差线性单元激活函数。

GeLU的描述可以在 Gaussian Error Linear Units (GELUs) 这篇文章中找到。 也可以去查询 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

approximatenone ,GELU的定义如下:

\[GELU(x_i) = x_i*P(X < x_i),\]

其中 \(P\) 是标准高斯分布的累积分布函数, \(x_i\) 是输入的元素。

approximatetanh ,GELU的定义如下:

\[GELU(x_i) = 0.5 * x_i * (1 + \tanh(\sqrt(2 / \pi) * (x_i + 0.044715 * x_i^3)))\]

GELU函数图:

../../_images/GELU.png
参数:
  • input (Tensor) - 用于计算GELU的Tensor。数据类型是float16、float32或float64。

  • approximate (str) - gelu近似算法。有两种:'none''tanh' 。默认值: 'none'

返回:

Tensor,具有与 input 相同的数据类型和shape。

异常:
  • TypeError - 如果 input 的数据类型不是Tensor。

  • TypeError - input 的数据类型既不是bfloat16、float16、float32或者float64。

  • ValueError - 如果 approximate 的值既不是 none 也不是 tanh

支持平台:

Ascend

样例:

>>> import mindspore
>>> from mindspore import Tensor, mint
>>> x = Tensor([1.0, 2.0, 3.0], mindspore.float32)
>>> result = mint.nn.functional.gelu(x)
>>> print(result)
[0.8413447 1.9544997 2.9959505]