MindArmour 文档
AI作为一种通用技术,在带来巨大机遇和效益的同时也面临着新的安全与隐私保护的挑战。MindArmour是昇思MindSpore的一个子项目,为昇思MindSpore提供安全与隐私保护能力,主要包括对抗鲁棒性、模型安全测试、差分隐私训练、隐私泄露风险评估、数据漂移检测等技术。
使用MindArmour的典型场景
-
涵盖黑白盒对抗攻击、对抗训练、对抗样本检测等能力,帮助安全工作人员快速高效地生成对抗样本,评测AI模型的鲁棒性。
-
通过成员推理攻击、模型逆向攻击等算法,用于评估模型隐私泄漏的风险。
-
通过差分隐私训练、抑制隐私保护机制,减少模型隐私泄漏的风险,从而保护用户数据。
-
通过多种数据漂移检测算法,及时发现数据分布变化,提前预测模型失效征兆,对AI模型的及时调整具有重要意义。
-
基于覆盖率的Fuzzing测试流程,灵活可定制的测试策略和指标;通过神经元覆盖率来指导输入变异,让输入能够激活更多的神经元,神经元值的分布范围更广,从而探索不同类型的模型输出结果、错误行为。
-
通过加密对模型文件进行保护的功能,使用对称加密算法对参数文件或推理模型进行加密,使用时直接加载密文模型完成推理或增量训练。
- mindarmour
- mindarmour.adv_robustness.attacks
- mindarmour.adv_robustness.defenses
- mindarmour.adv_robustness.detectors
- mindarmour.adv_robustness.evaluations
- mindarmour.fuzz_testing
- mindarmour.natural_robustness.transform.image
- mindarmour.privacy.diff_privacy
- mindarmour.privacy.evaluation
- mindarmour.privacy.sup_privacy
- mindarmour.reliability
- mindarmour.utils