mindspore.nn.KLDivLoss

class mindspore.nn.KLDivLoss(reduction='mean')[源代码]

计算输入 logitslabels 的KL散度。

对于相同shape的Tensor xtarget ,KLDivLoss的计算公式如下:

L(x,target)=target(logtargetx)

输出

(x,target)={L(x,target),if reduction='none';mean(L(x,target)),if reduction='mean';sum(L(x,target))/x.shape[0],if reduction='batchmean';sum(L(x,target)),if reduction='sum'.

其中 x 代表 logitstarget 代表 labels(x,target)output

说明

  • 目前Ascend平台不支持数据类型float64。

  • 仅当 reduction 设置为"batchmean"时输出才与Kullback-Leibler散度的数学定义一致。

参数:
  • reduction (str) - 指定输出结果的计算方式。默认值: 'mean'

    • 在Ascend平台上, reduction 的可选值为 'batchmean''none''sum'

    • 在GPU平台上, reduction 的可选值为 "mean""none""sum"

    • 在CPU平台上, reduction 的可选值为 "mean""batchmean""none""sum"

输入:
  • logits (Tensor) - 数据类型支持float16、float32或float64。

  • labels (Tensor) - 标签Tensor,与 logits 的shape和数据类型相同。

输出:

Tensor或标量。如果 reduction 为"none" ,则输出为Tensor且与 logits 的shape相同。否则为标量。

异常:
  • TypeError - reduction 不是str。

  • TypeError - logitslabels 不是Tensor。

  • TypeError - logitslabels 的数据类型不是支持的类型。

  • ValueError - logitslabels 的shape不一致。

  • RuntimeError - logitslabels 是标量并且 reduction 是"batchmean"。

支持平台:

Ascend GPU CPU

样例:

>>> import mindspore as ms
>>> import mindspore.nn as nn
>>> import numpy as np
>>> logits = ms.Tensor(np.array([0.2, 0.7, 0.1]), ms.float32)
>>> labels = ms.Tensor(np.array([0., 1., 0.]), ms.float32)
>>> loss = nn.KLDivLoss(reduction='mean')
>>> output = loss(logits, labels)
>>> print(output)
-0.23333333