mindspore.nn.TransformerEncoder

class mindspore.nn.TransformerEncoder(encoder_layer, num_layers, norm=None)

Transformer编码器模块，多层 mindspore.nn.TransformerEncoderLayer 的堆叠，包括MultiheadAttention层和FeedForward层。可以使用此模块构造BERT(https://arxiv.org/abs/1810.04805)模型。

参数：

• encoder_layer (Cell) - mindspore.nn.TransformerEncoderLayer 的实例。

• num_layers (int) - 编码器层数。

• norm (Cell, 可选) - 自定义LayerNorm层。 默认值： None 。

输入：

• src (Tensor) - 源序列。如果源序列没有batch，shape是 $(S,E)$ ；否则如果 mindspore.nn.TransformerEncoderLayer 中batch_first=False，则shape为 $(S,N,E)$ ，如果batch_first=True，则shape为 $(N,S,E)$。 $(S)$ 是源序列的长度, $(N)$ 是batch个数， $(E)$ 是特性个数。数据类型：float16、float32或者float64。

• src_mask (Tensor, 可选) - 源序列的掩码矩阵。shape是 $(S,S)$ 或 $(N\ast nhead,S,S)$ 。其中 nhead 是 mindspore.nn.TransformerEncoderLayer 中的 nhead 参数。数据类型：float16、float32、float64或者bool。默认值：None。

• src_key_padding_mask (Tensor, 可选) - 源序列Key矩阵的掩码矩阵。如果目标序列没有batch，shape是 $(S)$ ，否则shape为 $(N,S)$ 。数据类型：float16、float32、float64或者bool。默认值：None。

输出：

Tensor。Tensor的shape和dtype与 src 一致。

异常：

• AssertionError - 如果 src_key_padding_mask 不是bool或float类型。

支持平台：

Ascend GPU CPU

样例：

>>> import mindspore as ms
>>> import numpy as np
>>> encoder_layer = ms.nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> transformer_encoder = ms.nn.TransformerEncoder(encoder_layer, num_layers=6)
>>> src = ms.Tensor(np.random.rand(10, 32, 512), ms.float32)
>>> out = transformer_encoder(src)
>>> print(out.shape)
(10, 32, 512)