mindspore.dataset.text.SPieceTokenizerLoadType

查看源文件
class mindspore.dataset.text.SPieceTokenizerLoadType[源代码]

SentencePiece分词器的模型输入类型。

可选值如下：

  • SPieceTokenizerLoadType.FILE ：从指定文件路径加载模型。

  • SPieceTokenizerLoadType.MODEL ：从指定词汇表对象加载模型。