分布式并行

并行模式与应用场景

在大规模深度学习模型的训练中，尤其是面对庞大的数据集和复杂的模型架构时，单一设备的算力往往不足以应对这种需求。为了解决这个问题，MindSpore 提供了一套强大的并行策略配置，通过灵活的并行策略可以大幅提升训练效率，并降低计算资源的消耗。

MindSpore 的并行模式包括数据并行、模型并行、流水线并行、序列并行等，这些模式可以单独使用，也可以结合在一起，形成复杂的混合并行策略，以应对不同的模型训练需求。通过合理配置这些并行策略，开发者可以有效利用多设备的计算资源，极大地提升训练效率。

在实际应用中，不同的并行策略适用于不同的场景：

仓库中提供的 YAML 文件中并行策略配置已经优化，当前推荐用户使用半自动并行，以确保最佳性能和稳定性。

MindFormers 支持多种并行特性，开发者可以利用这些特性来优化不同模型架构和硬件配置的训练。以下表格概述了这些并行特性，并提供了指向 MindSpore 文档中详细说明的链接。

并行特性	描述
数据并行	将数据拆分到多个设备上，并在每个设备上同时进行训练。适用于数据量大且模型相对简单的任务。
模型并行	将模型参数分布到多个设备上，适合单个设备无法容纳整个模型的情况。
流水线并行	将模型分割成多个阶段，每个阶段在不同的设备上运行，以实现超大规模模型的高效训练。
优化器并行	将优化器计算分布到多个设备上，减少内存占用，提高训练效率。
序列并行	设计用于处理长序列输入的模型，将Transformer层中的LayerNorm及Dropout的输入按照序列维度进行切分，减少单设备的显存压力。
上下文并行	设计用于处理长序列输入的模型，对所有的input输入和所有的输出activation在sequence维度上进行切分，对于超长序列输入场景进一步减少显存占用。
多副本并行	用于在多个副本之间实现精细的并行控制，优化性能和资源利用率，适合大规格模型的高效训练。

关于分布式并行参数的配置方法，参见 MindFormers 配置说明中的并行配置章节下的具体内容。

在官网提供的Llama3-70B微调配置文件中，使用了多种分布式并行策略，以提升多机多卡环境中的训练效率。以下是该配置文件中涉及的主要并行策略和关键参数：

数据并行：未启用额外的数据并行（data_parallel: 1）。
模型并行：模型被切分成8个部分，在不同设备上计算（model_parallel: 8）。
流水线并行：模型分为8个流水线阶段，按顺序在不同设备上运行（pipeline_stage: 8）。
序列并行：开启序列并行（use_seq_parallel: True），将Transformer层中的LayerNorm及Dropout的输入按照序列维度进行切分，使各设备只需处理部分的LayerNorm和Dropout，减少模型显存占用。
多副本并行：通过执行序调度算法控制细粒度多分支的并行（fine_grain_interleave: 2），提高计算与通信的相互掩盖。
优化器并行：优化器计算分散到多个设备上，以减少内存占用（enable_parallel_optimizer: True）。

注意：开启细粒度多副本并行的同时必须开启序列并行。

通过以上配置，Llama3-70B的分布式训练在多机多卡环境中可以有效利用硬件资源，实现高效、稳定的模型训练。