mindspore.nn.KLDivLoss

class mindspore.nn.KLDivLoss(reduction='mean')

计算输入 logits 和 labels 的KL散度。

对于相同shape的Tensor \(x\) 和 \(target\) ，KLDivLoss的计算公式如下：

\[L(x, target) = target \cdot (\log target - x)\]

输出

\[\begin{split}\ell(x, target) = \begin{cases} L(x, target), & \text{if reduction} = \text{'none';}\\ \operatorname{mean}(L(x, target)), & \text{if reduction} = \text{'mean';}\\ \operatorname{sum}(L(x, target)) / x.\operatorname{shape}[0], & \text{if reduction} = \text{'batchmean';}\\ \operatorname{sum}(L(x, target)), & \text{if reduction} = \text{'sum'.} \end{cases}\end{split}\]

其中 \(x\) 代表 logits ； \(target\) 代表 labels ； \(\ell(x, target)\) 为 output 。

说明

• 目前Ascend平台不支持数据类型float64。

• 仅当 reduction 设置为"batchmean"时输出才与Kullback-Leibler散度的数学定义一致。

参数：

• reduction (str) - 指定输出结果的计算方式。默认值： 'mean'。

  • 在Ascend平台上， reduction 的可选值为 'batchmean' 、 'none' 或 'sum'。

  • 在GPU平台上， reduction 的可选值为 "mean" 、 "none" 或 "sum" 。

  • 在CPU平台上， reduction 的可选值为 "mean" 、 "batchmean" 、 "none" 或 "sum" 。

输入：

• logits (Tensor) - 数据类型支持float16、float32或float64。

• labels (Tensor) - 标签Tensor，与 logits 的shape和数据类型相同。

输出：

Tensor或标量。如果 reduction 为"none" ，则输出为Tensor且与 logits 的shape相同。否则为标量。

异常：

• TypeError - reduction 不是str。

• TypeError - logits 或 labels 不是Tensor。

• TypeError - logits 或 labels 的数据类型不是支持的类型。

• ValueError - logits 和 labels 的shape不一致。

• RuntimeError - logits 或 labels 是标量并且 reduction 是"batchmean"。

支持平台：

Ascend GPU CPU

样例：

>>> import mindspore as ms
>>> import mindspore.nn as nn
>>> import numpy as np
>>> logits = ms.Tensor(np.array([0.2, 0.7, 0.1]), ms.float32)
>>> labels = ms.Tensor(np.array([0., 1., 0.]), ms.float32)
>>> loss = nn.KLDivLoss(reduction='mean')
>>> output = loss(logits, labels)
>>> print(output)
-0.23333333