MindSpore分布式算子支持

Linux Ascend GPU CPU 模型开发 初级 中级 高级

分布式算子

操作名	约束
mindspore.ops.ACos	None
mindspore.ops.Cos	None
mindspore.ops.LogicalNot	None
mindspore.ops.Log	None
mindspore.ops.Exp	None
mindspore.ops.LogSoftmax	输入（logits）在轴（axis）对应的维度不可切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.Softmax	输入（logits）在轴（axis）对应的维度不可切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.Tanh	None
mindspore.ops.Gelu	None
mindspore.ops.ReLU	None
mindspore.ops.Sqrt	None
mindspore.ops.Cast	None
mindspore.ops.Neg	None
mindspore.ops.ExpandDims	None
mindspore.ops.Squeeze	None
mindspore.ops.Square	None
mindspore.ops.Sigmoid	None
mindspore.ops.Dropout	不支持重复计算
mindspore.ops.Div	None
mindspore.ops.TensorAdd	None
mindspore.ops.RealDiv	None
mindspore.ops.Mul	None
mindspore.ops.Sub	None
mindspore.ops.Pow	None
mindspore.ops.FloorDiv	None
mindspore.ops.Greater	None
mindspore.ops.AssignSub	None
mindspore.ops.SigmoidCrossEntropyWithLogits	None
mindspore.ops.Equal	None
mindspore.ops.NotEqual	None
mindspore.ops.Maximum	None
mindspore.ops.Minimum	None
mindspore.ops.BiasAdd	None
mindspore.ops.Concat	输入（input_x）在轴（axis）所对应的维度不能切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.DropoutGenMask	需和DropoutDoMask联合使用
mindspore.ops.DropoutDoMask	需和DropoutGenMask联合使用，不支持配置切分策略
mindspore.ops.GatherV2	仅支持1维和2维的input_params，并且input_params的最后一维要32字节对齐（出于性能考虑）；不支持标量input_indices；参数在轴（axis）所在维度切分时，不支持重复计算；不支持input_indices和input_params同时进行切分
mindspore.ops.SparseGatherV2	同GatherV2
mindspore.ops.EmbeddingLookup	同GatherV2
mindspore.ops.L2Normalize	输入（input_x）在轴（axis）对应的维度不能切，切分后，在数学逻辑上和单机不等价
mindspore.ops.SoftmaxCrossEntropyWithLogits	输入（logits、labels）的最后一维不能切分；有两个输出，正向的loss只支持取[0]
mindspore.ops.MatMul	不支持transpose_a=True
mindspore.ops.BatchMatMul	不支持transpore_a=True
mindspore.ops.PReLU	weight的shape在非[1]的情况下，输入（input_x）的Channel维要和weight的切分方式一致
mindspore.ops.OneHot	仅支持输入（indices）是1维的Tensor，切分策略要配置输出的切分策略，以及第1和第2个输入的切分策略
mindspore.ops.ReduceSum	None
mindspore.ops.ReduceMax	输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ReduceMin	输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ArgMinWithValue	输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ArgMaxWithValue	输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ReduceMean	None
mindspore.ops.Reshape	不支持配置切分策略
mindspore.ops.StridedSlice	仅支持值为全0的mask；需要切分的维度必须全部提取；输入在strides不为1对应的维度不支持切分
mindspore.ops.Tile	仅支持对multiples配置切分策略
mindspore.ops.Transpose	None

重复计算是指，机器没有用满，比如：集群有8张卡跑分布式训练，切分策略只对输入切成了4份。这种情况下会发生重复计算。