比较与torch.distributed.init_process_group的功能差异

查看源文件

torch.distributed.init_process_group

torch.distributed.init_process_group(
    backend,
    init_method=None,
    timeout=datetime.timedelta(0, 1800),
    world_size=-1,
    rank=-1,
    store=None,
    group_name=''
)

更多内容详见torch.distributed.init_process_group

mindspore.communication.init

mindspore.communication.init(backend_name=None)

更多内容详见mindspore.communication.init

使用方式

PyTorch:该接口支持的集合通信有3种:MPI、Gloo、NCCL。该接口在初始化backend的同时,还提供world_sizeranktimeout等内容的配置。

MindSpore:该接口当前仅支持2种集合通信:HCCL、NCCL。而world_sizeranktimeout等内容的配置并不在该接口中设置,调用该接口之前,需设置相应的环境变量。