mindspore.mint.distributed.all_to_all_single

mindspore.mint.distributed.all_to_all_single(output, input, output_split_sizes=None, input_split_sizes=None, group=None, async_op=False)

根据用户输入的切分大小，把输入tensor切分后，发送到其他的设备上，并从其他设备接收切分块，然后合并到一个输出tensor中。

说明

• 各个rank之间发送和接收的切分块大小需要互相匹配。

• 仅支持PyNative模式，目前不支持Graph模式。

参数：

• output (Tensor) - 表示从远端收集的张量结果。

• input (Tensor) - 要发送到远端设备的张量。

• output_split_sizes (Union(Tuple(int), List(int)), 可选) - 接收张量在0维的切分大小列表。默认值： None ，表示均匀切分。

• input_split_sizes (Union(Tuple(int), List(int)), 可选) - 发送张量在0维的切分大小列表。默认值： None ，表示均匀切分。

• group (str, 可选) - 通信组名称，如果为 None ，Ascend平台表示为 "hccl_world_group" 。 默认值： None 。

• async_op (bool, 可选) - 本算子是否是异步算子。默认值： False 。

返回：

CommHandle，若 async_op 是True，CommHandle是一个异步工作句柄。若 async_op 是False，CommHandle将返回None。

异常：

• TypeError - input 或者 output 不是张量类型， group 不是str， async_op 不是bool。

• ValueError - 当 input_split_sizes 为空时， input 的第0维不能被通信组内卡数整除。

• ValueError - 当 output_split_sizes 为空时， output 的第0维不能被通信组内卡数整除。

支持平台：

Ascend

样例：

说明

运行以下样例之前，需要配置好通信环境变量。

针对Ascend设备，推荐使用msrun启动方式，无第三方以及配置文件依赖。详见 msrun启动 。

该样例需要在2卡环境下运行。

>>> import numpy as np
>>> import mindspore
>>> from mindspore.mint.distributed import init_process_group, get_rank
>>> from mindspore.mint.distributed import all_to_all_single
>>> from mindspore import Tensor
>>> from mindspore.ops import zeros
>>>
>>> init_process_group()
>>> this_rank = get_rank()
>>> if this_rank == 0:
>>>     output = Tensor(np.zeros([3, 3]).astype(np.float32))
>>>     tensor = Tensor([[0, 1, 2.], [3, 4, 5], [6, 7, 8]])
>>>     result = all_to_all_single(output, tensor, [2, 1], [2, 1])
>>>     print(output)
>>> if this_rank == 1:
>>>     output = Tensor(np.zeros([2, 3]).astype(np.float32))
>>>     tensor = Tensor([[9, 10., 11], [12, 13, 14]])
>>>     result = all_to_all_single(output, tensor, [1, 1], [1, 1])
>>>     print(output)
rank 0:
[[ 0.  1.  2.]
[ 3.  4.  5.]
[ 9. 10. 11.]]
rank 1:
[[ 6.  7.  8.]
[12. 13. 14.]]