mindformers.models

基类

mindformers.models.PreTrainedModel

所有预训练模型的基类。

mindformers.models.PretrainedConfig

所有配置类的基类。

mindformers.models.PreTrainedTokenizer

所有慢速分词器的基类。

mindformers.models.PreTrainedTokenizerFast

快速分词器的基类,封装了 HuggingFace 分词器库。

mindformers.models.multi_modal.ModalContentTransformTemplate

转换模态内容模板的基类,可以被特定的模型实现。

Llama

mindformers.models.LlamaForCausalLM

在线计算并提供执行LLama训练时的损失值和逻辑值。

mindformers.models.LlamaConfig

Llama 配置类,定义了模型大小。

mindformers.models.LlamaTokenizer

基于字节级字节对编码(Byte-Pair-Encoding)构建Llama分词器。

mindformers.models.LlamaTokenizerFast

构建基于字节级字节对编码(Byte-Pair-Encoding)的 Llama 快速分词器。

GLM

mindformers.models.glm2.ChatGLM2ForConditionalGeneration

在线计算并提供执行ChatGLM2训练时的损失值和逻辑值。

mindformers.models.glm2.ChatGLM2Config

ChatGLM2模型配置类,里面定义了模型的相关配置参数。

mindformers.models.glm2.ChatGLM3Tokenizer

构造一个基于Byte-Pair-Encoding的ChatGLM3模型分词器。

mindformers.models.glm2.ChatGLM4Tokenizer

构造一个基于Byte-Pair-Encoding的ChatGLM4模型分词器。