mindspore.dataset.text.SentencePieceModel

class mindspore.dataset.text.SentencePieceModel[源代码]

SentencePiece的子词算法。

可选值如下：

  • SentencePieceModel.UNIGRAM ： 单字符语言模型 子词算法。

  • SentencePieceModel.BPE ： 字节对编码 子词算法。

  • SentencePieceModel.CHAR ：基于字符的子词算法。

  • SentencePieceModel.WORD ：基于单词的子词算法。