mindformers.core.PromptAccMetric

class mindformers.core.PromptAccMetric

计算每个实体的提示准确率（prompt acc）。提示准确率是基于构建提示的文本分类准确度。准确的索引是具有最小困惑度的提示索引。

1. 为该评估指标构建提示的方式如下：

   这是关于**体育**的文章：$passage
   这是关于**文化**的文章：$passage
   

2. 计算基于提示生成的每个上下文的困惑度。困惑度是衡量概率分布或模型预测样本能力的指标。较低的困惑度表示模型能够很好地预测样本。公式如下：

   $$PP(W)=P(w_1{w}_2...w_N{)}^{-\frac{1}{N}}=\sqrt[N]{\frac{1}{P(w_1{w}_2...w_N)}}$$

   其中， $w$ 代表语料库中的词。

3. 通过选择困惑度最小的提示索引来计算分类结果。

4. 计算正确分类的数量和样本总数，并计算准确率，公式如下：

   $$\text{accuracy}=\frac{\text{correct\_sample\_nums}}{\text{total\_sample\_nums}}$$

样例：

>>> import numpy as np
>>> from mindspore import Tensor
>>> from mindformers.core.metric.metric import PromptAccMetric
>>> logtis = Tensor(np.array([[[[0.2, 0.5], [0.3, 0.1], [0.9, 0.6]]]]))
>>> input_ids = Tensor(np.array([[15, 16, 17]]))
>>> labels = Tensor(np.array([[1, 0, 1]]))
>>> mask = Tensor(np.array([[1, 1, 1]]))
>>> metric = PromptAccMetric()
>>> metric.clear()
>>> metric.update(logtis, input_ids, mask, labels)
>>> result = metric.eval()
>>> print(result)
Current data num is 1, total acc num is 1.0, ACC is 1.000
Acc: 1.000, total_acc_num: 1.0, total_num: 1
{'Acc': 1.0}

clear()

清除局部评估结果。

eval()

计算评估结果。

返回：

评估结果字典，包含 Acc 分数。

update(*inputs)

更新局部评估结果。

参数：

• *inputs (List) - 逻辑值、输入索引、输入掩码和标签。其中逻辑值是形状为 $[N,C,S,W]$ 的张量，数据类型为Float16或Float32；输入索引、输入掩码和标签是形状为 $[N\ast C,S]$ 的张量，数据类型为Int32或Int64。其中 $N$ 为批次大小， $C$ 为实体类型总数， $S$ 为序列长度， $W$ 为词表大小。