mindspore.nn.HuberLoss

class mindspore.nn.HuberLoss(reduction='mean', delta=1.0)[源代码]

HuberLoss计算预测值和目标值之间的误差。它兼有L1Loss和MSELoss的优点。

假设 \(x\)\(y\) 为一维Tensor,长度 \(N\) ,则计算 \(x\)\(y\) 的loss而不进行降维操作(即reduction参数设置为”none”)。公式如下:

\[\ell(x, y) = L = \{l_1,\dots,l_N\}^\top\]

以及

\[\begin{split}l_n = \begin{cases} 0.5 * (x_n - y_n)^2, & \text{if } |x_n - y_n| < delta; \\ delta * (|x_n - y_n| - 0.5 * delta), & \text{otherwise. } \end{cases}\end{split}\]

其中, \(N\) 为batch size。如果 reduction 不是”none”,则:

\[\begin{split}\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{"mean";}\\ \operatorname{sum}(L), & \text{if reduction} = \text{"sum".} \end{cases}\end{split}\]
参数:
  • reduction (str) - 应用于loss的reduction类型。取值为 "mean""sum""none"。如果 reduction"mean""sum" ,则输出一个标量Tensor;如果 reduction"none" ,则输出Tensor的shape为广播后的shape。默认值: "mean"

  • delta (Union[int, float]) - 两种损失之间变化的阈值。该值必须为正。默认值: 1.0

输入:
  • logits (Tensor) - 输入预测值,任意维度的Tensor。其数据类型为float16或float32。

  • labels (Tensor) - 目标值,通常情况下与 logits 的shape和dtype相同。但是如果 logitslabels 的shape不同,需要保证他们之间可以互相广播。

输出:

Tensor或Scalar,如果 reduction 为”none”,返回与 logits 具有相同shape和dtype的Tensor。否则,将返回一个Scalar。

异常:
  • TypeError - logitslabels 的数据类型既不是float16也不是float32。

  • TypeError - logitslabels 的数据类型不同。

  • TypeError - delta 不是float或int。

  • ValueError - delta 的值小于或等于0。

  • ValueError - reduction 不为”mean”、”sum”或”none”。

  • ValueError - logitslabels 有不同的shape,且不能互相广播。

支持平台:

Ascend GPU CPU

样例:

>>> import mindspore as ms
>>> import mindspore.nn as nn
>>> import numpy as np
>>> # Case 1: logits.shape = labels.shape = (3,)
>>> loss = nn.HuberLoss()
>>> logits = ms.Tensor(np.array([1, 2, 3]), ms.float32)
>>> labels = ms.Tensor(np.array([1, 2, 2]), ms.float32)
>>> output = loss(logits, labels)
>>> print(output)
0.16666667
>>> # Case 2: logits.shape = (3,), labels.shape = (2, 3)
>>> loss = nn.HuberLoss(reduction="none")
>>> logits = ms.Tensor(np.array([1, 2, 3]), ms.float32)
>>> labels = ms.Tensor(np.array([[1, 1, 1], [1, 2, 2]]), ms.float32)
>>> output = loss(logits, labels)
>>> print(output)
[[0.  0.5 1.5]
 [0.  0.  0.5]]