MindSpore Transformers 文档

MindSpore Transformers(也称MindFormers)套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性,期望帮助用户轻松地实现大模型训练和创新研发。

用户可以参阅 整体架构模型库 来初步了解MindFormers的架构和模型支持度;参考 安装快速启动 章节,迅速上手MindFormers。

如果您对MindFormers有任何建议,请通过 issue 与我们联系,我们将及时处理。

MindFormers支持一键启动任意任务的单卡/多卡训练、微调、评估、推理流程,它通过简化操作、提供灵活性和自动化流程,使得深度学习任务的执行变得更加高效和用户友好,用户可以通过以下说明文档进行学习:

使用MindFormers进行灵活易用的个性化配置

MindFormers以其强大的功能集,为用户提供了灵活且易于使用的个性化配置选项。具体来说,它具备以下几个关键特性:

  1. 权重格式转换

    提供统一的权重转换工具,能够将模型权重在HuggingFace所使用的格式与MindFormers所使用的格式之间相互转换。

  2. 分布式权重切分与合并

    不同分布式场景下的权重灵活地进行切分与合并。

  3. 分布式并行

    一键配置多维混合分布式并行,让模型在上至万卡的集群中高效运行。

  4. 数据集

    支持多种形式的数据集。

  5. 权重保存与断点续训

    支持step级断点续训,有效减少大规模训练时意外中断造成的时间和资源浪费。

使用MindFormers进行深度调优

附录

FAQ