mindspore.dataset.text.Lookup

class mindspore.dataset.text.Lookup(vocab, unknown_token=None, data_type=mstype.int32)

根据词表，将分词标记(token)映射到其索引值(id)。

参数：

• vocab (Vocab) - 词表对象，用于存储分词和索引的映射。

• unknown_token (str, 可选) - 备用词汇，用于要查找的单词不在词汇表时进行替换。 如果单词不在词汇表中，则查找结果将替换为 unknown_token 的值。 如果单词不在词汇表中，且未指定 unknown_token ，将抛出运行时错误。默认值： None ，不指定该参数。

• data_type (mindspore.dtype, 可选) - Lookup输出的数据类型。默认值： mstype.int32 。

异常：

• TypeError - 参数 vocab 类型不为 mindspore.dataset.text.Vocab 。

• TypeError - 参数 unknown_token 类型不为str。

• TypeError - 参数 data_type 类型不为 mindspore.dtype 。

支持平台：

CPU

样例：

>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>>
>>> # Use the transform in dataset pipeline mode
>>> numpy_slices_dataset = ds.NumpySlicesDataset(data=["with"], column_names=["text"])
>>> # Load vocabulary from list
>>> vocab = text.Vocab.from_list(["?", "##", "with", "the", "test", "符号"])
>>> # Use Lookup operation to map tokens to ids
>>> lookup = text.Lookup(vocab)
>>> numpy_slices_dataset = numpy_slices_dataset.map(operations=[lookup])
>>> for item in numpy_slices_dataset.create_dict_iterator(num_epochs=1, output_numpy=True):
...     print(item["text"])
2
>>>
>>> # Use the transform in eager mode
>>> vocab = text.Vocab.from_list(["?", "##", "with", "the", "test", "符号"])
>>> data = "with"
>>> output = text.Lookup(vocab=vocab, unknown_token="test")(data)
>>> print(output)
2

教程样例：

• 文本变换样例库