mindspore.dataset.text.Lookup

class mindspore.dataset.text.Lookup(vocab, unknown_token=None, data_type=mstype.int32)[源代码]

根据词表，将分词标记(token)映射到其索引值(id)。

参数：

vocab (Vocab) - 词表对象，用于存储分词和索引的映射。
unknown_token (str, 可选) - 备用词汇，用于要查找的单词不在词汇表时进行替换。如果单词不在词汇表中，则查找结果将替换为 unknown_token 的值。如果单词不在词汇表中，且未指定 unknown_token ，将抛出运行时错误。默认值：None，不指定该参数。
data_type (mindspore.dtype, 可选): Lookup输出的数据类型，默认值：mindspore.int32。

异常：

TypeError - 参数 vocab 类型不为 mindspore.dataset.text.Vocab 。
TypeError - 参数 unknown_token 类型不为str。
TypeError - 参数 data_type 类型不为 mindspore.dtype 。

支持平台：: CPU

样例：

>>> # Load vocabulary from list
>>> vocab = text.Vocab.from_list(['深', '圳', '欢', '迎', '您'])
>>> # Use Lookup operator to map tokens to ids
>>> lookup = text.Lookup(vocab)
>>> text_file_dataset = text_file_dataset.map(operations=[lookup])