mindspore.dataset.text.WhitespaceTokenizer

查看源文件
class mindspore.dataset.text.WhitespaceTokenizer(with_offsets=False)[源代码]

基于ICU4C定义的空白字符（’ ‘, ‘\\t’, ‘\\r’, ‘\\n’）对输入的UTF-8字符串进行分词。

说明

Windows平台尚不支持 WhitespaceTokenizer 。

参数：

  • with_offsets (bool, 可选) - 是否输出各Token在原字符串中的起始和结束偏移量。默认值： False 。

异常：

  • TypeError - 参数 with_offsets 的类型不为bool。

支持平台：

CPU

样例：

>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>>
>>> text_file_list = ["/path/to/text_file_dataset_file"]
>>> text_file_dataset = ds.TextFileDataset(dataset_files=text_file_list)
>>>
>>> # 1) If with_offsets=False, default output one column {["text", dtype=str]}
>>> tokenizer_op = text.WhitespaceTokenizer(with_offsets=False)
>>> text_file_dataset = text_file_dataset.map(operations=tokenizer_op)
>>>
>>> # 2) If with_offsets=True, then output three columns {["token", dtype=str],
>>> #                                                   ["offsets_start", dtype=uint32],
>>> #                                                   ["offsets_limit", dtype=uint32]}
>>> tokenizer_op = text.WhitespaceTokenizer(with_offsets=True)
>>> text_file_dataset = text_file_dataset.map(operations=tokenizer_op, input_columns=["text"],
...                                           output_columns=["token", "offsets_start", "offsets_limit"])
教程样例：