mindspore.dataset.text.SentencePieceModel

class mindspore.dataset.text.SentencePieceModel[源代码]

SentencePiece的子词算法。

可选值如下:

  • SentencePieceModel.UNIGRAM单字符语言模型 子词算法。

  • SentencePieceModel.BPE字节对编码 子词算法。

  • SentencePieceModel.CHAR :基于字符的子词算法。

  • SentencePieceModel.WORD :基于单词的子词算法。