mindspore.nn.TransformerEncoder
- class mindspore.nn.TransformerEncoder(encoder_layer, num_layers, norm=None)[源代码]
Transformer编码器模块,多层
mindspore.nn.TransformerEncoderLayer
的堆叠,包括MultiheadAttention层和FeedForward层。可以使用此模块构造BERT(https://arxiv.org/abs/1810.04805)模型。- 参数:
encoder_layer (Cell) -
mindspore.nn.TransformerEncoderLayer
的实例。num_layers (int) - 编码器层数。
norm (Cell, 可选) - 自定义LayerNorm层。 默认值:
None
。
- 输入:
src (Tensor) - 源序列。如果源序列没有batch,shape是 \((S, E)\) ;否则如果
mindspore.nn.TransformerEncoderLayer
中batch_first=False,则shape为 \((S, N, E)\) ,如果batch_first=True,则shape为 \((N, S, E)\)。 \((S)\) 是源序列的长度, \((N)\) 是batch个数, \((E)\) 是特性个数。数据类型:float16、float32或者float64。src_mask (Tensor, 可选) - 源序列的掩码矩阵。shape是 \((S, S)\) 或 \((N*nhead, S, S)\) 。其中 nhead 是
mindspore.nn.TransformerEncoderLayer
中的 nhead 参数。数据类型:float16、float32、float64或者bool。默认值:None
。src_key_padding_mask (Tensor, 可选) - 源序列Key矩阵的掩码矩阵。如果目标序列没有batch,shape是 \((S)\) ,否则shape为 \((N, S)\) 。数据类型:float16、float32、float64或者bool。默认值:
None
。
- 输出:
Tensor。Tensor的shape和dtype与 src 一致。
- 异常:
AssertionError - 如果 src_key_padding_mask 不是布尔或浮点类型。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> import mindspore as ms >>> import numpy as np >>> encoder_layer = ms.nn.TransformerEncoderLayer(d_model=512, nhead=8) >>> transformer_encoder = ms.nn.TransformerEncoder(encoder_layer, num_layers=6) >>> src = ms.Tensor(np.random.rand(10, 32, 512), ms.float32) >>> out = transformer_encoder(src) >>> print(out.shape) (10, 32, 512)