mindspore_gs.ptq
训练后量化算法集。
import mindspore_gs.ptq as ptq
PTQ 配置
用于配置 MindSpore Golden Stick 后量化算法的数据类。 |
PTQ 模式枚举
用于配置 MindSpore Golden Stick 后量化算法阶段的枚举类。 |
异常值抑制类型枚举
PTQ量化算法的异常值抑制枚举类。 |
网络适配层
工具类,用于解耦算法层和网络框架层,使算法实现不依赖于具体的框架。 |
|
|
从 NetworkHelper 类派生,用于MindFormers框架Llama2网络的工具类。 |
|
从 NetworkHelper 类派生,用于MindFormers框架ParallelLlamaForCasualLM网络的工具类。 |
PTQ 算法
量化算法PTQ的基本实现,支持激活、权重和kvcache的组合量化。 |
RoundToNearest 算法
后量化算法的基本实现,通过统计最大最小值实现模型量化。 |