mindspore.dataset.text.ToVectors

查看源文件
class mindspore.dataset.text.ToVectors(vectors, unk_init=None, lower_case_backup=False)[源代码]

根据输入向量表查找向量中的tokens。

参数：

  • vectors (Vectors) - 向量对象。

  • unk_init (sequence, 可选) - 用于初始化向量外（OOV）令牌的序列。默认值： None ，用零向量初始化。

  • lower_case_backup (bool, 可选) - 是否查找小写的token。如果为 False ，则将查找原始大小写中的每个token。 如果为 True ，则将首先查找原始大小写中的每个token，如果在属性stoi（字符->索引映射）的键中找不到，则将查找小写中的token。默认值： False 。

异常：

  • TypeError - 如果 unk_init 不是序列。

  • TypeError - 如果 unk_init 的元素不是float或int类型。

  • TypeError - 如果 lower_case_backup 不是bool类型。

支持平台：

CPU

样例：

>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>>
>>> # Load vectors from file
>>> vectors = text.Vectors.from_file("/path/to/vectors/file")
>>> # Use ToVectors operation to map tokens to vectors
>>> to_vectors = text.ToVectors(vectors)
>>>
>>> text_file_list = ["/path/to/text_file_dataset_file"]
>>> text_file_dataset = ds.TextFileDataset(dataset_files=text_file_list)
>>> text_file_dataset = text_file_dataset.map(operations=[to_vectors])
教程样例：