mindspore.set_algo_parameters
- mindspore.set_algo_parameters(**kwargs)[源代码]
设置并行策略搜索算法中的参数。
说明
属性名称为必填项。此接口仅在AUTO_PARALLEL模式下工作。
- 参数：
fully_use_devices (bool) - 表示是否仅搜索充分利用所有可用设备的策略。默认值：
False。例如，如果有8个可用设备，当该参数设为True时，策略(4, 1)将不包括在ReLU的候选策略中，因为策略(4, 1)仅使用4个设备。elementwise_op_strategy_follow (bool) - 表示elementwise算子是否具有与后续算子一样的策略，elementwise算子是指对输入张量逐元素应用一个函数变换的算子，如Add、ReLU等。默认值：
False。例如，Add的输出给了ReLU，如果该参数设置为True，则算法搜索的策略可以保证这两个算子的策略是一致的，例如，ReLU的策略(8, 1)和Add的策略((8, 1), (8, 1))。enable_algo_approxi (bool) - 表示是否在算法中启用近似。默认值：
False。由于大型DNN模型的并行搜索策略有较大的解空间，该算法在这种情况下耗时较长。为了缓解这种情况，如果该参数设置为True，则会进行近似丢弃一些候选策略，以便缩小解空间。algo_approxi_epsilon (float) - 表示近似算法中使用的epsilon值。默认值：
0.1此值描述了近似程度。例如，一个算子的候选策略数量为S，如果 enable_algo_approxi 为True，则剩余策略的大小为min{S, 1/epsilon}。tensor_slice_align_enable (bool) - 表示是否检查MatMul的tensor切片的shape。默认值：
False受某些硬件的属性限制，只有shape较大的MatMul内核才能显示出优势。如果该参数为True，则检查MatMul的切片shape以阻断不规则的shape。tensor_slice_align_size (int) - 表示MatMul的最小tensor切片的shape，该值必须在[1,1024]范围内。默认值：
16。如果 tensor_slice_align_enable 设为True，则MatMul tensor的最后维度的切片大小应该是该值的倍数。
- 异常：
ValueError - 无法识别传入的关键字。
样例：
>>> import numpy as np >>> import mindspore as ms >>> import mindspore.dataset as ds >>> from mindspore import nn, ops, train >>> from mindspore.communication import init >>> from mindspore.common.initializer import initializer >>> >>> ms.set_context(mode=ms.GRAPH_MODE) >>> ms.set_auto_parallel_context(parallel_mode=ms.ParallelMode.AUTO_PARALLEL, ... search_mode="sharding_propagation") >>> init() >>> ms.set_algo_parameters(fully_use_devices=True) >>> ms.set_algo_parameters(elementwise_op_strategy_follow=True) >>> ms.set_algo_parameters(enable_algo_approxi=True) >>> ms.set_algo_parameters(algo_approxi_epsilon=0.2) >>> ms.set_algo_parameters(tensor_slice_align_enable=True) >>> ms.set_algo_parameters(tensor_slice_align_size=8) >>> >>> # Define the network structure. >>> class Dense(nn.Cell): ... def __init__(self, in_channels, out_channels): ... super().__init__() ... self.weight = ms.Parameter(initializer("normal", [in_channels, out_channels], ms.float32)) ... self.bias = ms.Parameter(initializer("normal", [out_channels], ms.float32)) ... self.matmul = ops.MatMul() ... self.add = ops.Add() ... ... def construct(self, x): ... x = self.matmul(x, self.weight) ... x = self.add(x, self.bias) ... return x >>> >>> class FFN(nn.Cell): ... def __init__(self): ... super().__init__() ... self.flatten = ops.Flatten() ... self.dense1 = Dense(28*28, 64) ... self.relu = ops.ReLU() ... self.dense2 = Dense(64, 10) ... ... def construct(self, x): ... x = self.flatten(x) ... x = self.dense1(x) ... x = self.relu(x) ... x = self.dense2(x) ... return x >>> net = FFN() >>> net.dense1.matmul.shard(((2, 1), (1, 2))) >>> >>> # Create dataset. >>> step_per_epoch = 16 >>> def get_dataset(*inputs): ... def generate(): ... for _ in range(step_per_epoch): ... yield inputs ... return generate >>> >>> input_data = np.random.rand(1, 28, 28).astype(np.float32) >>> label_data = np.random.rand(1).astype(np.int32) >>> fake_dataset = get_dataset(input_data, label_data) >>> dataset = ds.GeneratorDataset(fake_dataset, ["input", "label"]) >>> # Train network. >>> optimizer = nn.Momentum(net.trainable_params(), 1e-3, 0.1) >>> loss_fn = nn.CrossEntropyLoss() >>> loss_cb = train.LossMonitor() >>> model = ms.Model(network=net, loss_fn=loss_fn, optimizer=optimizer) >>> model.train(epoch=2, train_dataset=dataset, callbacks=[loss_cb])