mindspore.dataset.text.Lookup

class mindspore.dataset.text.Lookup(vocab, unknown_token=None, data_type=mstype.int32)[源代码]

根据词表，将分词标记(token)映射到其索引值(id)。

参数：

vocab (Vocab) - 词表对象，用于存储分词和索引的映射。
unknown_token (str, 可选) - 备用词汇，用于要查找的单词不在词汇表时进行替换。如果单词不在词汇表中，则查找结果将替换为 unknown_token 的值。如果单词不在词汇表中，且未指定 unknown_token ，将抛出运行时错误。默认值： None ，不指定该参数。
data_type (mindspore.dtype, 可选) - Lookup输出的数据类型。默认值： mstype.int32 。

异常：

TypeError - 参数 vocab 类型不为 mindspore.dataset.text.Vocab 。
TypeError - 参数 unknown_token 类型不为str。
TypeError - 参数 data_type 类型不为 mindspore.dtype 。

支持平台：

CPU

样例：

>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>> # Load vocabulary from list
>>> vocab = text.Vocab.from_list(['深', '圳', '欢', '迎', '您'])
>>> # Use Lookup operation to map tokens to ids
>>> lookup = text.Lookup(vocab)
>>>
>>> text_file_list = ["/path/to/text_file_dataset_file"]
>>> text_file_dataset = ds.TextFileDataset(dataset_files=text_file_list)
>>> text_file_dataset = text_file_dataset.map(operations=[lookup])

教程样例：

文本变换样例库