mindspore.nn.TransformerDecoder

class mindspore.nn.TransformerDecoder(decoder_layer, num_layers, norm=None)[源代码]

Transformer的解码器模块，多层 mindspore.nn.TransformerDecoderLayer 的堆叠，包括Self Attention层、MultiheadAttention层和FeedForward层。

参数：

decoder_layer (Cell) - mindspore.nn.TransformerDecoderLayer 的实例。
num_layers (int) - 解码器层数。
norm (Cell, 可选) - 层标准化模块。默认值： None。

输入：

tgt (Tensor) - 目标序列。如果目标序列没有batch，则shape为 $(T, E)$ 。否则，如果 mindspore.nn.TransformerDecoderLayer 中 batch_first=False ，则shape为 $(T, N, E)$ ；如果 batch_first=True ，则shape为 $(N, T, E)$ 。其中， $(T)$ 是目标序列的长度， $(N)$ 是batch个数， $(E)$ 是特性个数。数据类型为float16、float32或者float64。
memory (Tensor) - TransformerEncoder的最后一层输出序列。数据类型：float16、float32或者float64。
tgt_mask (Tensor, 可选) - 目标序列的掩码矩阵。shape为 $(T, T)$ 或 $(N * n h e a d, T, T)$ 。其中 nhead 是 mindspore.nn.TransformerDecoderLayer 中的 nhead 参数。数据类型为float16、float32、float64或者bool。默认值： None。
memory_mask (Tensor, 可选) - memory序列的掩码矩阵。shape为 $(T, S)$ 。数据类型为float16、float32、float64或者bool。默认值：None。
tgt_key_padding_mask (Tensor, 可选) - 目标序列Key矩阵的掩码矩阵。shape为 $(T)$ 。数据类型为float16、float32、float64或者bool。默认值：None。
memory_key_padding_mask (Tensor, 可选) - memory序列Key矩阵的掩码矩阵。如果目标序列没有batch，shape为 $(S)$ ；否则shape为 $(N, S)$ 。数据类型为float16、float32、float64或者bool。默认值： None。

输出：

Tensor。Tensor的shape和dtype与 tgt 一致。

支持平台：

Ascend GPU CPU

样例：

>>> import mindspore as ms
>>> import numpy as np
>>> decoder_layer = ms.nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> transformer_decoder = ms.nn.TransformerDecoder(decoder_layer, num_layers=6)
>>> memory = ms.Tensor(np.random.rand(10, 32, 512), ms.float32)
>>> tgt = ms.Tensor(np.random.rand(20, 32, 512), ms.float32)
>>> out = transformer_decoder(tgt, memory)
>>> print(out.shape)
(20, 32, 512)