分布式配置

查看源文件

Q: 进行HCCL分布式训练出错：Init plugin so failed, ret = 1343225860？

A: 初始化HCCL失败了，通常由于rank json没写对，可以用mindspore/model_zoo/utils/hccl_tools下面的工具生成一个试试。或者导入环境变量export ASCEND_SLOG_PRINT_TO_STDOUT=1打开HCCL的日志打印，然后检查日志信息。


Q: MindSpore执行GPU分布式训练报错如下，如何解决:

Loading libgpu_collective.so failed. Many reasons could cause this:
1.libgpu_collective.so is not installed.
2.nccl is not installed or found.
3.mpi is not installed or found

A: 此问题为MindSpore动态加载集合通信库失败，可能原因如下:

  • 执行环境未安装分布式训练依赖的OpenMPI以及NCCL。

  • NCCL版本未更新至v2.7.6: MindSpore v1.1.0新增GPU P2P通信算子，该特性依赖于NCCL v2.7.6，若环境使用的NCCL未升级为此版本，则会引起加载失败错误。