mindspore.nn.KLDivLoss
- class mindspore.nn.KLDivLoss(reduction='mean')[源代码]
计算输入 logits 和 labels 的KL散度。
对于相同shape的Tensor \(x\) 和 \(target\) ,KLDivLoss的计算公式如下:
\[L(x, target) = target \cdot (\log target - x)\]输出
\[\begin{split}\ell(x, target) = \begin{cases} L(x, target), & \text{if reduction} = \text{'none';}\\ \operatorname{mean}(L(x, target)), & \text{if reduction} = \text{'mean';}\\ \operatorname{sum}(L(x, target)) / x.\operatorname{shape}[0], & \text{if reduction} = \text{'batchmean';}\\ \operatorname{sum}(L(x, target)), & \text{if reduction} = \text{'sum'.} \end{cases}\end{split}\]其中 \(x\) 代表 logits ; \(target\) 代表 labels ; \(\ell(x, target)\) 为 output 。
说明
目前Ascend平台不支持数据类型float64。
仅当 reduction 设置为”batchmean”时输出才与Kullback-Leibler散度的数学定义一致。
- 参数:
reduction (str) - 指定输出结果的计算方式。默认值:
'mean'
。在Ascend平台上, reduction 的可选值为
'batchmean'
、'none'
或'sum'
。在GPU平台上, reduction 的可选值为
"mean"
、"none"
或"sum"
。在CPU平台上, reduction 的可选值为
"mean"
、"batchmean"
、"none"
或"sum"
。
- 输入:
logits (Tensor) - 数据类型支持float16、float32或float64。
labels (Tensor) - 标签Tensor,与 logits 的shape和数据类型相同。
- 输出:
Tensor或标量。如果 reduction 为”none” ,则输出为Tensor且与 logits 的shape相同。否则为标量。
- 异常:
TypeError - reduction 不是str。
TypeError - logits 或 labels 不是Tensor。
TypeError - logits 或 labels 的数据类型不是支持的类型。
ValueError - logits 和 labels 的shape不一致。
RuntimeError - logits 或 labels 是标量并且 reduction 是”batchmean”。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> import mindspore as ms >>> import mindspore.nn as nn >>> import numpy as np >>> logits = ms.Tensor(np.array([0.2, 0.7, 0.1]), ms.float32) >>> labels = ms.Tensor(np.array([0., 1., 0.]), ms.float32) >>> loss = nn.KLDivLoss(reduction='mean') >>> output = loss(logits, labels) >>> print(output) -0.23333333