mindspore.nn.MultiFieldEmbeddingLookup

查看源文件
class mindspore.nn.MultiFieldEmbeddingLookup(vocab_size, embedding_size, field_size, param_init='normal', target='CPU', slice_mode='batch_slice', feature_num_list=None, max_norm=None, sparse=True, operator='SUM', dtype=mstype.float32)[源代码]

根据指定的索引和字段ID，返回输入Tensor的切片。此操作支持同时使用multi hot和one hot查找嵌入。

说明

当'target'设置为 'CPU' 时，此模块将使用P.EmbeddingLookup().set_device('CPU')指定'offset = 0'的查找表。

当'target'设置为 'DEVICE' 时，此模块将使用P.Gather()指定'axis = 0'的查找表。

具有相同 field_ids 的向量将由'operator'组合，例如'SUM'、'MAX'和'MEAN'。确保填充ID的 input_values 为零，以便忽略它们。如果字段绝对权重之和为零，最终输出将为零。该类仅支持['table_row_slice', 'batch_slice', 'table_column_slice']。对于Ascend设备上的'MAX'操作，存在 \(batch\_size * (seq\_length + field\_size) < 3500\) 的约束。

参数：

  • vocab_size (int) - 嵌入词典的大小。

  • embedding_size (int) - 每个嵌入向量的大小。

  • field_size (int) - 最终输出的字段大小。

  • param_init (Union[Tensor, str, Initializer, numbers.Number]) - 嵌入Tensor的初始化方法。当指定字符串时，请参见 Initializer 类了解字符串的值。默认值： 'normal' 。

  • target (str) - 指定执行操作的'target'。该值必须在[ 'DEVICE' , 'CPU' ]中。默认值： 'CPU' 。

  • slice_mode (str) - semi_auto_parallel或auto_parallel模式下的切片方式。默认值： 'batch_slice' 。

    • batch_slice (str) - EmbeddingLookup算子会将输入的索引张量按批次(batch)进行划分，然后查找对应的嵌入向量。适用于每个样本都有相同数量索引的情况。

    • field_slice (str) - EmbeddingLookup算子会将输入的索引张量按特征(field)进行划分，然后查找对应的嵌入向量。适用于每个样本索引数量可能不同但是特征维度相同的情况。

    • table_row_slice (str) - EmbeddingLookup算子会将输入的索引张量看作一个二维表，并按行进行划分，然后查找对应的嵌入向量。

    • table_column_slice (str) - EmbeddingLookup算子会将输入的索引张量看作一个二维表，并按列进行划分，然后查找对应的嵌入向量。

  • feature_num_list (tuple) - 字段切片模式下的伴随数组（accompaniment array）。目前该参数的功能还未实现。默认值： None 。

  • max_norm (Union[float, None]) - 最大剪切值。数据类型必须为float16、float32。默认值： None 。

  • sparse (bool) - 使用稀疏模式。当'target'设置为'CPU'时，'sparse'必须为 true 。默认值： True 。

  • operator (str) - 字段特征的池化方法。支持 'SUM' 、 'MEAN' 和 'MAX' 。默认值： 'SUM' 。

  • dtype (mindspore.dtype) - Parameters的dtype。默认值： mstype.float32 。

输入：

  • input_indices (Tensor) - 指定输入Tensor元素的索引，其shape为 \((batch\_size, seq\_length)\) 。数据类型为int32、int64。

  • input_values (Tensor) - 指定 input_indices 元素的权重。将检索出的向量乘以 input_values 。其shape为 \((batch\_size, seq\_length)\) 。类型为float32。

  • field_ids (Tensor) - 指定 input_indices 元素的字段ID，其shape为 \((batch\_size, seq\_length)\) 。类型为int32。

输出：

Tensor，shape为 \((batch\_size, field\_size, embedding\_size)\) 。类型为float32。

异常：

  • TypeError - vocab_size 、 embedding_size 或 field_size 不是int。

  • TypeError - sparse 不是bool或 feature_num_list 不是tuple。

  • ValueError - vocab_size 、 embedding_size 或 field_size 小于1。

  • ValueError - target 既不是 'CPU' 也不是 'DEVICE'。

  • ValueError - slice_mode 不是 'batch_slice'、 'field_slice'、 'table_row_slice' 或 'table_column_slice' 。

  • ValueError - sparse 为False， target 为 'CPU' 。

  • ValueError - slice_mode 为 'field_slice'， feature_num_list 为None。

  • ValueError - operator 不是 'SUM'、 'MAX' 或 'MEAN' 。

支持平台：

Ascend GPU

样例：

>>> import mindspore
>>> from mindspore import Tensor, nn
>>> input_indices = Tensor([[2, 4, 6, 0, 0], [1, 3, 5, 0, 0]], mindspore.int32)
>>> input_values = Tensor([[1, 1, 1, 0, 0], [1, 1, 1, 0, 0]], mindspore.float32)
>>> field_ids = Tensor([[0, 1, 1, 0, 0], [0, 0, 1, 0, 0]], mindspore.int32)
>>> net = nn.MultiFieldEmbeddingLookup(10, 2, field_size=2, operator='SUM', target='DEVICE')
>>> out = net(input_indices, input_values, field_ids)
>>> print(out.shape)
(2, 2, 2)