mindspore.nn.TransformerEncoder
- class mindspore.nn.TransformerEncoder(encoder_layer, num_layers, norm=None)[源代码]
Transformer编码器模块,多层 TransformerEncoderLayer 的堆叠,包括MultiheadAttention层和FeedForward层。可以使用此模块构造BERT(https://arxiv.org/abs/1810.04805)模型。
- 参数:
encoder_layer (Cell) - TransformerEncoderLayer()的实例。
num_layers (int) - 编码器层数。
norm (Cell, 可选) - 自定义LayerNorm层。默认值:
None
。
- 输入:
src (Tensor) - 源序列。
src_mask (Tensor, 可选) - 源序列的掩码矩阵。默认值:
None
。src_key_padding_mask (Tensor, 可选) - 源序列Key矩阵的掩码矩阵。默认值:
None
。
- 输出:
Tensor。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8) >>> transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6) >>> src = Tensor(np.random.rand(10, 32, 512), mindspore.float32) >>> out = transformer_encoder(src) >>> print(out.shape) (10, 32, 512)