比较与torch.nn.InstanceNorm3d的差异
torch.nn.InstanceNorm3d
class torch.nn.InstanceNorm3d(
num_features,
eps=1e-05,
momentum=0.1,
affine=False,
track_running_stats=False
)(input) -> Tensor
更多内容详见torch.nn.InstanceNorm3d。
mindspore.nn.InstanceNorm3d
class mindspore.nn.InstanceNorm3d(
num_features,
eps=1e-5,
momentum=0.1,
affine=True,
gamma_init='ones',
beta_init='zeros'
)(x) -> Tensor
更多内容详见mindspore.nn.InstanceNorm3d。
差异对比
PyTorch:在五维输入(具有额外mini-batch和channel通道的三维输入)的每个channel内部应用归一化。
MindSpore:此API实现功能与PyTorch基本一致,典型区别有两点。MindSpore中affine参数默认值为True,会对内部参数 γ 和 β 进行学习,PyTorch默认值为False,不进行参数学习;PyTorch支持track_running_stats参数,如果设置为True,会在推理中使用训练得到的均值和方差,默认值为False,MindSpore无此参数,在训练和推理中都会使用输入数据的计算均值和方差,与PyTorch的默认值行为相同。
分类 |
子类 |
PyTorch |
MindSpore |
差异 |
---|---|---|---|---|
输入 |
单输入 |
input |
x |
接口输入,功能一致,仅参数名不同 |
参数 |
参数1 |
num_features |
num_features |
- |
参数2 |
eps |
eps |
- |
|
参数3 |
momentum |
momentum |
- |
|
参数4 |
affine |
affine |
默认值不同,MindSpore默认值为True,会对内部参数 γ 和 β 进行学习,PyTorch默认值为False,不进行参数学习 |
|
参数5 |
track_running_stats |
- |
如果设置为True,PyTorch会在推理中使用训练得到的均值和方差,默认值为False,MindSpore无此参数,在训练和推理中均会使用输入数据的计算均值和方差,与PyTorch的默认值False行为相同 |
|
参数6 |
- |
gamma_init |
用于学习的变换参数 γ 初始化,默认是’ones’,而PyTorch不能额外设置,只能是’ones’ |
|
参数7 |
- |
beta_init |
用于学习的变换参数 β 初始化,默认是’zeros’,而PyTorch不能额外设置,只能是’zeros’ |
代码示例
MindSpore的affine设置为False时,与PyTorch的默认行为功能一致。
# PyTorch
from torch import nn, tensor
import numpy as np
m = nn.InstanceNorm3d(num_features=3)
input_x = tensor(np.array([[[[[0.1, 0.2], [0.3, 0.4]]],
[[[0.9, 1], [1.1, 1.2]]]]]).astype(np.float32))
output = m(input_x)
print(output.detach().numpy())
# [[[[[-1.3411044 -0.44703478]
# [ 0.4470349 1.3411044 ]]]
#
#
# [[[-1.3411034 -0.44703388]
# [ 0.44703573 1.3411053 ]]]]]
# MindSpore
from mindspore import Tensor, nn
import numpy as np
m = nn.InstanceNorm3d(num_features=2, affine=False)
m.set_train()
input_x = Tensor(np.array([[[[[0.1, 0.2], [0.3, 0.4]]],
[[[0.9, 1], [1.1, 1.2]]]]]).astype(np.float32))
output = m(input_x)
print(output)
# [[[[[-1.3411045 -0.4470348 ]
# [ 0.44703496 1.3411045 ]]]
#
#
# [[[-1.3411034 -0.44703388]
# [ 0.44703573 1.3411053 ]]]]]