mindspore.nn.TransformerDecoder

class mindspore.nn.TransformerDecoder(decoder_layer, num_layers, norm=None)[源代码]

Transformer的解码器模块，多层 mindspore.nn.TransformerDecoderLayer 的堆叠，包括Self Attention层、MultiheadAttention层和FeedForward层。

参数：

decoder_layer (Cell) - mindspore.nn.TransformerDecoderLayer 的实例。
num_layers (int) - 解码器层数。
norm (Cell, 可选) - 层标准化模块。默认值：None。

输入：

tgt (Tensor) - 目标序列。如果目标序列没有batch，shape是 \((T, E)\) ；否则如果 mindspore.nn.TransformerDecoderLayer 中 batch_first=False ，则shape为 \((T, N, E)\) ，如果 batch_first=True ，则shape为 \((N, T, E)\)。 \((T)\) 是目标序列的长度，\((N)\) 是batch个数，\((E)\) 是特性个数。数据类型：float16、float32或者float64。
memory (Tensor) - TransformerEncoder的最后一层输出序列。数据类型：float16、float32或者float64。
tgt_mask (Tensor, 可选) - 目标序列的掩码矩阵。shape是 \((T, T)\) 或 \((N*nhead, T, T)\) 。其中 nhead 是 mindspore.nn.TransformerDecoderLayer 中的 nhead 参数。数据类型：float16、float32、float64或者bool。默认值：None。
memory_mask (Tensor, 可选) - memory序列的掩码矩阵。shape是 \((T, S)\) 。数据类型：float16、float32、float64或者bool。默认值：None。
tgt_key_padding_mask (Tensor, 可选) - 目标序列Key矩阵的掩码矩阵。shape是 \((T)\) 。数据类型：float16、float32、float64或者bool。默认值：None。
memory_key_padding_mask (Tensor, 可选) - memory序列Key矩阵的掩码矩阵。如果目标序列没有batch，shape是 \((S)\) ，否则shape为 \((N, S)\) 。数据类型：float16、float32、float64或者bool。默认值：None。

输出：

Tensor。Tensor的shape和dtype与 tgt 一致。

支持平台：

Ascend GPU CPU

样例：

>>> import mindspore as ms
>>> import numpy as np
>>> decoder_layer = ms.nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> transformer_decoder = ms.nn.TransformerDecoder(decoder_layer, num_layers=6)
>>> memory = ms.Tensor(np.random.rand(10, 32, 512), ms.float32)
>>> tgt = ms.Tensor(np.random.rand(20, 32, 512), ms.float32)
>>> out = transformer_decoder(tgt, memory)
>>> print(out.shape)
(20, 32, 512)