mindspore.dataset.text.SPieceTokenizerOutType
- class mindspore.dataset.text.SPieceTokenizerOutType[源代码]
mindspore.dataset.text.SentencePieceTokenizer
输出类型的枚举值。可选的枚举值包括:
SPieceTokenizerOutType.STRING
和SPieceTokenizerOutType.INT
。SPieceTokenizerOutType.STRING - 表示SentencePiece分词器的输出类型为string。
SPieceTokenizerOutType.INT - 表示SentencePiece分词器的输出类型为int。