mindspore.dataset.text.BasicTokenizer

class mindspore.dataset.text.BasicTokenizer(lower_case=False, keep_whitespace=False, normalization_form=NormalizeForm.NONE, preserve_unused_token=True, with_offsets=False)[源代码]

按照指定规则对输入的UTF-8编码字符串进行分词。

说明

Windows平台尚不支持 BasicTokenizer 。

参数：

  • lower_case (bool，可选) - 是否对字符串进行小写转换处理。若为 True ，会将字符串转换为小写并删除重音字符；若为 False ，将只对字符串进行规范化处理，其模式由 normalization_form 指定。默认值： False 。

  • keep_whitespace (bool，可选) - 是否在分词输出中保留空格。默认值： False 。

  • normalization_form (NormalizeForm, 可选) - 想要使用的规范化模式。可选值详见 NormalizeForm 。 默认值： NormalizeForm.NFKC 。

  • preserve_unused_token (bool，可选) - 是否保留特殊词汇。若为 True ，将不会对特殊词汇进行分词，如 ‘[CLS]’, ‘[SEP]’, ‘[UNK]’, ‘[PAD]’, ‘[MASK]’ 等。默认值： True 。

  • with_offsets (bool，可选) - 是否输出各Token在原字符串中的起始和结束偏移量。默认值： False 。

异常：

  • TypeError - 当 lower_case 的类型不为bool。

  • TypeError - 当 keep_whitespace 的类型不为bool。

  • TypeError - 当 normalization_form 的类型不为 NormalizeForm 。

  • TypeError - 当 preserve_unused_token 的类型不为bool。

  • TypeError - 当 with_offsets 的类型不为bool。

  • RuntimeError - 当输入Tensor的数据类型不为str。

支持平台：

CPU

样例：

>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>> from mindspore.dataset.text import NormalizeForm
>>>
>>> # Use the transform in dataset pipeline mode
>>> numpy_slices_dataset = ds.NumpySlicesDataset(data=['Welcome     To   BeiJing!'], column_names=["text"])
>>>
>>> # 1) If with_offsets=False, default output one column {["text", dtype=str]}
>>> tokenizer_op = text.BasicTokenizer(lower_case=False,
...                                    keep_whitespace=False,
...                                    normalization_form=NormalizeForm.NONE,
...                                    preserve_unused_token=True,
...                                    with_offsets=False)
>>> numpy_slices_dataset = numpy_slices_dataset.map(operations=tokenizer_op)
>>> for item in numpy_slices_dataset.create_dict_iterator(num_epochs=1, output_numpy=True):
...     print(item["text"])
['Welcome' 'To' 'BeiJing' '!']
>>>
>>> # 2) If with_offsets=True, then output three columns {["token", dtype=str],
>>> #                                                     ["offsets_start", dtype=uint32],
>>> #                                                     ["offsets_limit", dtype=uint32]}
>>> numpy_slices_dataset = ds.NumpySlicesDataset(data=['Welcome     To   BeiJing!'], column_names=["text"])
>>> tokenizer_op = text.BasicTokenizer(lower_case=False,
...                                    keep_whitespace=False,
...                                    normalization_form=NormalizeForm.NONE,
...                                    preserve_unused_token=True,
...                                    with_offsets=True)
>>> numpy_slices_dataset = numpy_slices_dataset.map(
...     operations=tokenizer_op, input_columns=["text"],
...     output_columns=["token", "offsets_start", "offsets_limit"])
>>> for item in numpy_slices_dataset.create_dict_iterator(num_epochs=1, output_numpy=True):
...     print(item["token"], item["offsets_start"], item["offsets_limit"])
['Welcome' 'To' 'BeiJing' '!'] [ 0 12 17 24] [ 7 14 24 25]
>>>
>>> # Use the transform in eager mode
>>> data = 'Welcome     To   BeiJing!'
>>> output = text.BasicTokenizer()(data)
>>> print(output)
['Welcome' 'To' 'BeiJing' '!']
教程样例：