mindspore.dataset.text.SentencePieceModel

class mindspore.dataset.text.SentencePieceModel

SentencePiece的子词算法。

可选值如下：

• SentencePieceModel.UNIGRAM - 单字符语言模型 子词算法。

• SentencePieceModel.BPE - 字节对编码 子词算法。

• SentencePieceModel.CHAR - 基于字符的子词算法。

• SentencePieceModel.WORD - 基于单词的子词算法。