mindspore.communication.comm_func.all_reduce ============================================ .. py:function:: mindspore.communication.comm_func.all_reduce(tensor, op=ReduceOp.SUM, group=GlobalComm.WORLD_COMM_GROUP, async_op=False) 使用指定方式对通信组内的所有设备的Tensor数据进行规约操作,所有设备都得到相同的结果,返回规约操作后的张量。 .. note:: 集合中的所有进程的Tensor必须具有相同的shape和格式。 参数: - **tensor** (Tensor) - 输入待规约操作的Tensor,Tensor的shape为 :math:`(x_1, x_2, ..., x_R)` 。 - **op** (str,可选) - 规约的具体操作。如 ``"sum"`` 、 ``"prod"`` 、 ``"max"`` 、和 ``"min"`` 。默认值: ``ReduceOp.SUM`` 。 - **group** (str,可选) - 工作的通信组。默认值:``GlobalComm.WORLD_COMM_GROUP`` (即Ascend平台为 ``"hccl_world_group"`` ,GPU平台为 ``"nccl_world_group"`` )。 - **async_op** (bool, 可选) - 本算子是否是异步算子。默认值: ``False`` 。 返回: Tuple(Tensor, CommHandle),输出shape与输入相同,即 :math:`(x_1, x_2, ..., x_R)` 。其内容取决于操作。 若 `async_op` 是True,CommHandle是一个异步工作句柄。若 `async_op` 是False,CommHandle将返回None。 异常: - **TypeError** - 首个输入的数据类型不为Tensor,`op` 或 `group` 不是str。 - **RuntimeError** - 如果目标设备无效,或者后端无效,或者分布式初始化失败。 样例: .. note:: .. include:: ../ops/mindspore.ops.comm_note.txt 该样例需要在2卡环境下运行。