MindSpore Transformers 文档

MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性，期望帮助用户轻松地实现大模型训练和创新研发。

用户可以参阅整体架构和模型库来初步了解MindSpore Transformers的架构和模型支持度；参考安装和快速启动章节，迅速上手MindSpore Transformers。

如果您对MindSpore Transformers有任何建议，请通过 issue 与我们联系，我们将及时处理。

MindSpore Transformers支持一键启动任意任务的单卡/多卡训练、微调、评估、推理流程，它通过简化操作、提供灵活性和自动化流程，使得深度学习任务的执行变得更加高效和用户友好，用户可以通过以下说明文档进行学习：


开发迁移多模态理解模型开发	预训练	SFT微调	评测	推理量化 MindIE服务化部署

使用MindSpore Transformers进行灵活易用的个性化配置

MindSpore Transformers以其强大的功能集，为用户提供了灵活且易于使用的个性化配置选项。具体来说，它具备以下几个关键特性：

权重格式转换

提供统一的权重转换工具，能够将模型权重在HuggingFace所使用的格式与MindSpore Transformers所使用的格式之间相互转换。
分布式权重切分与合并

不同分布式场景下的权重灵活地进行切分与合并。
分布式并行

一键配置多维混合分布式并行，让模型在上至万卡的集群中高效运行。
数据集

支持多种形式的数据集。
权重保存与断点续训

支持step级断点续训，有效减少大规模训练时意外中断造成的时间和资源浪费。
训练指标监控

提供大模型训练阶段的可视化服务，用于监控和分析训练过程中的各种指标和信息。
训练高可用

提供大模型训练阶段的高可用能力，包括临终 CKPT 保存、UCE 故障容错恢复和进程级重调度恢复功能。
Safetensors权重

支持safetensors格式的权重文件保存及加载功能。