mindspore.dataset.text.SPieceTokenizerOutType

class mindspore.dataset.text.SPieceTokenizerOutType[源代码]

mindspore.dataset.text.SentencePieceTokenizer 输出类型的枚举值。

可选的枚举值包括:SPieceTokenizerOutType.STRING和SPieceTokenizerOutType.INT。

  • SPieceTokenizerOutType.STRING - 表示SentencePiece分词器的输出类型为string。

  • SPieceTokenizerOutType.INT - 表示SentencePiece分词器的输出类型为int。