比较与torch.nn.LeakyReLU的功能差异

torch.nn.LeakyReLU

class torch.nn.LeakyReLU(negative_slope=0.01, inplace=False)(input) -> Tensor

更多内容详见torch.nn.LeakyReLU。

mindspore.nn.LeakyReLU

class mindspore.nn.LeakyReLU(alpha=0.2)(x) -> Tensor

更多内容详见mindspore.nn.LeakyReLU。

差异对比

PyTorch：实现Leaky ReLU激活函数的基本功能，其中参数negative_slope是用于控制激活函数的斜率，参数inplace用于控制是否选择就地执行激活函数的操作。

MindSpore：MindSpore此API实现功能与PyTorch基本一致，其中参数alpha与PyTorch中的参数negative_slope功能一致，参数名不同，默认值不同；但MindSpore不存在inplace参数。

分类	子类	PyTorch	MindSpore	差异
参数	参数1	negative_slope	alpha	功能一致，参数名不同，默认值不同
	参数2	inplace	-	PyTorch中此参数用于控制是否选择就地执行激活函数的操作，MindSpore无此参数
输入	单输入	input	x	功能一致，参数名不同

代码示例1

PyTorch的参数negative_slope和MindSpore的参数alpha功能一致，参数名不同，默认值不同，当两者的值一致时，获得相同的结果。

# PyTorch
import torch
import torch.nn as nn

m = nn.LeakyReLU(0.2)
inputs = torch.tensor([[-1.0, 4.0, -8.0], [2.0, -5.0, 9.0]], dtype=float)
output = m(inputs).to(torch.float32).detach().numpy()
print(output)
# [[-0.2  4.  -1.6]
#  [ 2.  -1.   9. ]]

# MindSpore
import mindspore
from mindspore import Tensor
import mindspore.nn as nn

x = Tensor([[-1.0, 4.0, -8.0], [2.0, -5.0, 9.0]]).astype('float32')
m = nn.LeakyReLU()
output = m(x)
print(output)
# [[-0.2  4.  -1.6]
#  [ 2.  -1.   9. ]]

代码示例2

PyTorch的参数inplace用于控制是否选择就地执行激活函数的操作，也就是直接在输入上进行激活函数操作，输入被改变。MindSpore无此参数，但可以将输出赋值给输入实现类似的功能。

# PyTorch
import torch
import torch.nn as nn

m = nn.LeakyReLU(0.2, inplace=True)
inputs = torch.tensor([[-1.0, 4.0, -8.0], [2.0, -5.0, 9.0]], dtype=torch.float32)
output = m(inputs)
print(inputs.detach().numpy())
# [[-0.2  4.  -1.6]
#  [ 2.  -1.   9. ]]

# MindSpore
import mindspore
from mindspore import Tensor
import mindspore.nn as nn

x = Tensor([[-1.0, 4.0, -8.0], [2.0, -5.0, 9.0]]).astype('float32')
m = nn.LeakyReLU()
x = m(x)
print(x)
# [[-0.2  4.  -1.6]
#  [ 2.  -1.   9. ]]