mindformers.core
核心模块,包含运行时上下文、损失函数、优化器、学习率、回调函数和评估指标。
运行时上下文
基于config创建运行环境的context。 |
|
根据输入key获取context中的属性值。 |
|
初始化运行环境的context。 |
|
设置运行环境的context。 |
损失函数
计算预测值和目标值之间的交叉熵损失。 |
优化器
权重衰减Adam算法的实现。 |
|
通过Confidence-guided Adaptive Memory Efficient Optimization (Came)算法更新梯度。 |
学习率
学习率分层模块。 |
|
恒定预热学习率。 |
|
线性预热学习率。 |
|
余弦预热学习率。 |
|
余弦重启与预热学习率。 |
|
带有预热阶段的多项式衰减学习率。 |
|
该方法在 SGDR: Stochastic Gradient Descent with Warm Restarts 中提出。 |
|
使用余弦退火调度设置每个参数组的学习率。 |
回调函数
保存checkpoint的回调函数,训练过程中保存网络参数。 |
|
在训练期间评估模型的回调函数。 |
|
监控训练过程中loss等相关参数的回调函数。 |
|
监控训练过程的性能分析回调函数。 |
|
SummaryMonitor可以帮助收集收集一些常用信息,比如loss、学习率、计算图等。 |
评估指标
评估预测实体相对于真实标签的精确率、召回率和 F1 分数。 |
|
EmF1Metric 用于计算每个示例的 Em 和 F1 分数,用于评估模型在预测任务中的性能。 |
|
困惑度定义为模型对测试集中每个词分配的负对数概率的指数平均值。 |
|
计算每个实体的提示准确率(prompt acc)。 |