mindspore.dataset.text.Ngram

查看源文件
class mindspore.dataset.text.Ngram(n, left_pad=('', 0), right_pad=('', 0), separator=' ')[源代码]

从1-D的字符串生成N-gram。

关于N-gram是什么以及它是如何工作的，请参阅 N-gram 。

参数：

  • n (list[int]) - n-gram 中的 n，它是一个正整数列表。例如 n=[4, 3]，结果将是Tensor包含一个4-gram和一个3-gram的字符串。 如果输入的字符不足以构造一个n-gram，则返回一个空字符串。例如在[“mindspore”, “best”] 应用 3-gram 将导致生成一个空字符串。

  • left_pad (tuple, 可选) - 指定序列的左侧填充，传入tuple的形式为 (“pad_token”,pad_width)。 pad_width 的上限值为 n -1。例如，指定 left_pad=(“_”, 2) 将用 “__” 填充序列的左侧。默认值： ("", 0) 。

  • right_pad (tuple, 可选) - 指定序列的右侧填充，传入tuple的形式为 (“pad_token”, pad_width)。 pad_width 的上限值为 n -1。例如，指定 right_pad=(“_”, 2) 将用 “__” 填充序列的右侧。默认值： ("", 0) 。

  • separator (str, 可选) - 指定用于将字符串连接在一起的分隔符。 例如，如果对 [“mindspore”, “amazing”] 应用 2-gram 并指定分隔符为 "-" ，结果将是 [“mindspore-amazing”]。默认值： " " ，使用空格作为分隔符。

异常：

  • TypeError - 参数 n 包含的值类型不为int。

  • ValueError - 参数 n 包含的值不为正数。

  • ValueError - 参数 left_pad 不是一个长度2的Tuple[str, int]。

  • ValueError - 参数 right_pad 不是一个长度2的Tuple[str, int]。

  • TypeError - 参数 separator 的类型不是str。

支持平台：

CPU

样例：

>>> import numpy as np
>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>>
>>> # Use the transform in dataset pipeline mode
>>> def gen(texts):
...     for line in texts:
...         yield(np.array(line.split(" "), dtype=str),)
>>> data = ["WildRose Country", "Canada's Ocean Playground", "Land of Living Skies"]
>>> generator_dataset = ds.GeneratorDataset(gen(data), ["text"])
>>> ngram_op = text.Ngram(3, separator="-")
>>> generator_dataset = generator_dataset.map(operations=ngram_op)
>>> for item in generator_dataset.create_dict_iterator(num_epochs=1, output_numpy=True):
...     print(item["text"])
...     break
['']
>>>
>>> # Use the transform in eager mode
>>> output = ngram_op(data)
>>> print(output)
["WildRose Country-Canada's Ocean Playground-Land of Living Skies"]
教程样例：