MindSpore Transformers 文档
MindSpore Transformers(也称MindFormers)套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性,期望帮助用户轻松地实现大模型训练和创新研发。
用户可以参阅 整体架构 和 模型库 来初步了解MindFormers的架构和模型支持度;参考 安装 和 快速启动 章节,迅速上手MindFormers。
如果您对MindFormers有任何建议,请通过 issue 与我们联系,我们将及时处理。
MindFormers支持一键启动任意任务的单卡/多卡训练、微调、评估、推理流程,它通过简化操作、提供灵活性和自动化流程,使得深度学习任务的执行变得更加高效和用户友好,用户可以通过以下说明文档进行学习:
使用MindFormers进行灵活易用的个性化配置
MindFormers以其强大的功能集,为用户提供了灵活且易于使用的个性化配置选项。具体来说,它具备以下几个关键特性:
-
提供统一的权重转换工具,能够将模型权重在HuggingFace所使用的格式与MindFormers所使用的格式之间相互转换。
-
不同分布式场景下的权重灵活地进行切分与合并。
-
一键配置多维混合分布式并行,让模型在上至万卡的集群中高效运行。
-
支持多种形式的数据集。
-
支持step级断点续训,有效减少大规模训练时意外中断造成的时间和资源浪费。