mindspore_gs.ptq

训练后量化算法集。

import mindspore_gs.ptq as ptq

PTQ 配置

mindspore_gs.ptq.PTQConfig	用于配置 MindSpore Golden Stick 后量化算法的数据类。

PTQ 模式枚举

mindspore_gs.ptq.PTQMode	用于配置 MindSpore Golden Stick 后量化算法阶段的枚举类。

异常值抑制类型枚举

mindspore_gs.ptq.OutliersSuppressionType	PTQ量化算法的异常值抑制枚举类。

精度补偿类型

mindspore_gs.ptq.PrecisionRecovery

网络适配层

mindspore_gs.ptq.NetworkHelper	工具类，用于解耦算法层和网络框架层，使算法实现不依赖于具体的框架。
mindspore_gs.ptq.network_helpers.mf_net_helpers.MFLlama2Helper	从 NetworkHelper 类派生，用于MindFormers框架Llama2网络的工具类。
mindspore_gs.ptq.network_helpers.mf_net_helpers.MFParallelLlama2Helper	从 NetworkHelper 类派生，用于MindFormers框架ParallelLlamaForCasualLM网络的工具类。

PTQ 算法

mindspore_gs.ptq.PTQ	量化算法PTQ的基本实现，支持激活、权重和kvcache的组合量化。

RoundToNearest 算法

mindspore_gs.ptq.RoundToNearest	后量化算法的基本实现，通过统计最大最小值实现模型量化。