总体架构

Linux Windows 端侧 推理应用 中级 高级 贡献者

MindSpore Lite是一款极速、极智、极简的端侧AI引擎，使能全场景智能应用，为用户提供端到端的解决方案，帮助用户使能AI能力。

MindSpore Lite 分为离线模块和在线模块两个部分，其框架的总体架构如下所示：

• 离线模块：

  • 3rd Model Parsers: 将第三方模型转换为统一的MindIR，其中第三方模型包括TensorFlow、TensorFlow Lite、Caffe 1.0和ONNX模型。

  • MindIR: MindSpore端云统一的IR。

  • Optimizer: 基于IR进行图优化，如算子融合、常量折叠等。

  • Quantizer: 训练后量化模块，支持权重量化、激活值量化等训练后量化手段。

  • benchmark: 测试性能以及调试精度的工具集。

  • Micro CodeGen: 针对IoT场景，将模型直接编译为可执行文件的工具。

• 在线模块：

  • Training/Inference APIs: 端云统一的C++/Java训练推理接口。

  • MindRT Lite: 轻量化的在线运行时，支持异步执行。

  • MindData Lite: 用于端侧数据处理。

  • Delegate: 用于对接专业AI硬件引擎的代理。

  • Kernels: 内置的高性能算子库，提供CPU、GPU和NPU算子。

  • Learning Strategies: 端侧学习策略，如迁移学习。