mindformers.core

核心模块,包含运行时上下文、损失函数、优化器、学习率、回调函数和评估指标。

运行时上下文

mindformers.core.build_context

基于config创建运行环境的context。

mindformers.core.get_context

根据输入key获取context中的属性值。

mindformers.core.init_context

初始化运行环境的context。

mindformers.core.set_context

设置运行环境的context。

损失函数

mindformers.core.CrossEntropyLoss

计算预测值和目标值之间的交叉熵损失。

优化器

mindformers.core.AdamW

权重衰减Adam算法的实现。

mindformers.core.Came

通过Confidence-guided Adaptive Memory Efficient Optimization (Came)算法更新梯度。

学习率

mindformers.core.LearningRateWiseLayer

学习率分层模块。

mindformers.core.ConstantWarmUpLR

恒定预热学习率。

mindformers.core.LinearWithWarmUpLR

线性预热学习率。

mindformers.core.CosineWithWarmUpLR

余弦预热学习率。

mindformers.core.CosineWithRestartsAndWarmUpLR

余弦重启与预热学习率。

mindformers.core.PolynomialWithWarmUpLR

带有预热阶段的多项式衰减学习率。

mindformers.core.CosineAnnealingLR

该方法在 SGDR: Stochastic Gradient Descent with Warm Restarts 中提出。

mindformers.core.CosineAnnealingWarmRestarts

使用余弦退火调度设置每个参数组的学习率。

回调函数

mindformers.core.CheckpointMonitor

保存checkpoint的回调函数,训练过程中保存网络参数。

mindformers.core.EvalCallBack

在训练期间评估模型的回调函数。

mindformers.core.MFLossMonitor

监控训练过程中loss等相关参数的回调函数。

mindformers.core.ProfileMonitor

监控训练过程的性能分析回调函数。

mindformers.core.SummaryMonitor

SummaryMonitor可以帮助收集收集一些常用信息,比如loss、学习率、计算图等。

评估指标

mindformers.core.EntityScore

评估预测实体相对于真实标签的精确率、召回率和 F1 分数。

mindformers.core.EmF1Metric

EmF1Metric 用于计算每个示例的 Em 和 F1 分数,用于评估模型在预测任务中的性能。

mindformers.core.PerplexityMetric

困惑度定义为模型对测试集中每个词分配的负对数概率的指数平均值。

mindformers.core.PromptAccMetric

计算每个实体的提示准确率(prompt acc)。