mindspore.parallel

mindspore.parallel提供了大量的自动并行接口，包括并行配置基本单元、模型保存与加载、并行切分策略接口等。

模块导入方法如下：

from mindspore import parallel

并行配置基本单元

接口名	概述	支持平台	警告
mindspore.parallel.auto_parallel.AutoParallel	并行配置的基本单元，静态图模式下需封装顶层Cell或函数并指定并行模式。	Ascend	无
mindspore.parallel.nn.Pipeline	指定流水线并行（pp）的micro_batch个数以及网络中各cell放到哪个stage去执行。	Ascend GPU	无
mindspore.parallel.nn.PipelineGradReducer	流水线并行（pp）梯度累加的GradReducer。	Ascend GPU	无
mindspore.parallel.nn.GradAccumulation	使能GradAccumulation实现梯度累加。	Ascend GPU	无
mindspore.parallel.nn.MicroBatchInterleaved	这个函数的作用是将输入在第零维度拆成 interleave_num 份，然后执行包裹的cell的计算。	Ascend GPU	无

模型保存与加载

接口名	概述	支持平台	警告
mindspore.parallel.load_distributed_checkpoint	加载分布式checkpoint参数到网络，用于分布式推理。	Ascend GPU CPU	无
mindspore.parallel.convert_checkpoints	Convert distributed checkpoint from source sharding strategy to destination sharding strategy for a rank.		None
mindspore.parallel.rank_list_for_convert	在对分布式Checkpoint转换的过程中，获取目标rank的Checkpoint文件所需的源Checkpoint文件rank列表。		无
mindspore.parallel.convert_checkpoint_by_rank	将一个分布式网络的Checkpoint由源切分策略转换到目标切分策略，对特定一个rank进行转换。		无
mindspore.parallel.load_segmented_checkpoints	加载指定路径下所有checkpoint文件。		无

并行切分策略接口

接口名	概述	支持平台	警告
mindspore.parallel.build_searched_strategy	网络中每个参数的构建策略，用于分布式推理的场景。		无
mindspore.parallel.function.reshard	指定输入张量的精准排布。	Ascend GPU	无
mindspore.parallel.shard		Ascend	无
mindspore.parallel.Layout	Layout描述了详细的切分信息。	Ascend	无

其他

接口名	概述	支持平台	警告
mindspore.parallel.restore_group_info_list	从 group_info_file_name 指向的文件中提取得到通信域的信息，在该通信域内的所有设备的 checkpoint 文件均与存储 group_info_file_name 的设备相同，可以直接进行替换。		无
mindspore.parallel.parameter_broadcast	在数据并行维度，将参数广播到其他卡上。	Ascend	实验性接口，未来可能变更或移除。
mindspore.parallel.sync_pipeline_shared_parameters	推理场景下，实现不同stage之间共享权重。	Ascend	无