比较与torch.nn.SyncBatchNorm的差异

查看源文件

torch.nn.SyncBatchNorm

class torch.nn.SyncBatchNorm(
    num_features,
    eps=1e-05,
    momentum=0.1,
    affine=True,
    track_running_stats=True,
    process_group=None
)(input) -> Tensor

更多内容详见torch.nn.SyncBatchNorm

mindspore.nn.SyncBatchNorm

class mindspore.nn.SyncBatchNorm(
    num_features,
    eps=1e-5,
    momentum=0.9,
    affine=True,
    gamma_init='ones',
    beta_init='zeros',
    moving_mean_init='zeros',
    moving_var_init='ones',
    use_batch_statistics=None,
    process_groups=None
)(x) -> Tensor

更多内容详见mindspore.nn.SyncBatchNorm

差异对比

PyTorch:对输入的数据进行跨设备同步批归一化。

MindSpore:MindSpore此API实现功能与PyTorch基本一致。MindSpore输入仅支持二维和四维。MindSpore中momentum参数默认值为0.9,与PyTorch的momentum转换关系为1-momentum,默认值行为与PyTorch相同;训练以及推理时的参数更新策略和PyTorch有所不同,详细区别请参考与PyTorch典型区别-BatchNorm

分类

子类

PyTorch

MindSpore

差异

参数

参数1

num_features

num_features

-

参数2

eps

eps

-

参数3

momentum

momentum

功能一致,但PyTorch中的默认值是0.1,MindSpore中是0.9,与PyTorch的momentum转换关系为1-momentum,默认值行为与PyTorch相同

参数4

affine

affine

-

参数5

track_running_stats

use_batch_statistics

功能一致,不同值对应的默认方式不同,详细区别请参考与PyTorch典型区别-nn.BatchNorm2d

参数6

-

gamma_init

PyTorch无此参数,MindSpore可以初始化参数gamma的值

参数7

-

beta_init

PyTorch无此参数,MindSpore可以初始化参数beta的值

参数8

-

moving_mean_init

PyTorch无此参数,MindSpore可以初始化参数moving_mean的值

参数9

-

moving_var_init

PyTorch无此参数,MindSpore可以初始化参数moving_var的值

参数10

process_group

process_groups

-

输入

单输入

input

x

接口输入,MindSpore只支持二维和四维输入