MindSpore Lite文档

筛选条件 清除所有条件

环境

Android Linux Windows iOS OpenHarmony IoT

用户

初级 中级 高级

阶段

全流程 环境准备 数据准备 模型导出 模型转换 模型加载 模型训练 模型调优 模型代码生成 模型混淆 推理应用 基准测试 静态库裁剪 可视化

专用芯片

NPU TensorRT Ascend

编程语言

C++ Java C Python

---

下载MindSpore Lite

欢迎使用MindSpore Lite，我们提供了支持多种操作系统和硬件平台的模型转换、模型推理、图像处理等功能，你可以下载适用于本地环境的版本包直接使用。

端侧编译

本章节介绍如何快速编译出MindSpore Lite。

编译云侧MindSpore Lite

本章节介绍如何快速编译出云侧MindSpore Lite。

Ascend转换工具功能说明

本文档介绍云侧推理模型转换工具在Ascend后端的相关功能，如配置文件的选项、动态shape、AOE、自定义算子等。

图算融合配置说明（beta特性）

图算融合是MindSpore特有的网络性能优化技术。它可以通过自动分析和优化现有网络计算图逻辑，并结合目标硬件能力，对计算图进行计算化简和替代、算子拆分和融合、算子特例化编译等优化，以提升设备计算资源利用率，实现对网络性能的整体优化。

体验C++极简推理Demo

本教程提供了MindSpore Lite执行推理的示例程序，通过随机输入、执行推理、打印推理结果的方式，演示了C++进行端侧推理的基本流程，用户能够快速了解MindSpore Lite执行推理相关API的使用。

体验Java极简推理Demo

本教程提供了MindSpore Lite执行推理的示例程序，通过随机输入、执行推理、打印推理结果的方式，演示了利用MindSpore Lite Java API进行端侧推理的基本流程，用户能够快速了解MindSpore Lite执行推理相关Java API的使用。

体验C语言极简推理Demo

本教程提供了MindSpore Lite执行推理的示例程序，通过随机输入、执行推理、打印推理结果的方式，演示了C语言进行端侧推理的基本流程，用户能够快速了解MindSpore Lite执行推理相关API的使用。

基于JNI接口的Android应用开发

本教程从端侧Android图像分类demo入手，帮助用户了解MindSpore Lite应用工程的构建、依赖项配置以及相关API的使用。

基于Java接口的Android应用开发

本教程基于MindSpore团队提供的Android“端侧图像分割”示例程序，演示了端侧部署的流程。

量化

对于已经训练好的float32模型，通过训练后量化将其转为int8，不仅能减小模型大小，而且能显著提高推理性能。

数据预处理

此处是通过创建LiteMat对象，在推理前对图像数据进行处理，达到模型推理所需要的数据格式要求。

模型推理（C++接口）

通过MindSpore Lite模型转换工具转换成.ms模型后，即可在Runtime中执行模型的推理流程。本教程介绍如何使用C++接口执行推理。

模型推理（Java接口）

通过MindSpore Lite模型转换工具转换成.ms模型后，即可在Runtime中执行模型的推理流程。本教程介绍如何使用JAVA接口执行推理。

在MCU或小型系统上执行推理

MindSpore Lite为IOT场景提供了超轻量Micro AI部署解决方案，该方案将模型生成为简单算子调用的纯c代码，不再需要在线解析模型及图编译，适用内存及算力受限的环境。

集成NPU使用说明

该教程介绍了集成NPU的使用说明，包含了使用步骤、芯片支持和算子支持。

集成TensorRT使用说明

该教程介绍了集成TensorRT的使用说明。

集成Ascend使用说明

本文档介绍如何在Ascend环境的Linux系统上，使用MindSpore Lite 进行推理，以及动态shape功能的使用。

基于C++接口实现端侧训练

本教程基于LeNet训练示例代码，演示在Android设备上训练一个LeNet。

基于Java接口实现端侧训练

本教程通过构建并部署Java版本的LeNet网络的训练，演示MindSpore Lite端侧训练Java接口的使用。

端侧训练（C++接口）

通过MindSpore Lite模型转换后，需在Runtime中完成模型的训练执行流程。本教程介绍如何使用C++接口编写训练代码。

端侧训练（Java接口）

通过MindSpore Lite模型转换后，需在Runtime中完成模型的训练执行流程。本教程介绍如何使用Java接口编写训练代码。

离线构建自定义算子

MindSpore Lite提供一个具有高度灵活性的离线模型转换工具，支持用户基于该工具进行扩展，比如，可将用户特有硬件与MindSpore Lite推理引擎结合。

在线构建自定义算子

MindSpore Lite当前提供了一套南向算子的注册机制，南向算子可以理解为用户自己的算子实现，如果用户想通过MindSpore Lite框架调度到自己的算子实现上，可参考本文。

使用Delegate支持第三方AI框架接入（端上）

如果用户想通过MindSpore Lite框架调度到其他框架的推理流程，可参考本文。

端侧模型转换

MindSpore Lite提供离线转换模型功能的工具，支持多种类型的模型转换，转换后的模型可用于推理。

训练模型转换

本教程介绍了如何进行训练模型的转换。

benchmark

转换模型后执行推理前，你可以使用Benchmark工具对MindSpore Lite模型进行基准测试。它不仅可以对MindSpore Lite模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。

benchmark_train

与benchmark工具类似，MindSpore端侧训练为你提供了benchmark_train工具对训练后的模型进行基准测试。它不仅可以对模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。

静态库裁剪工具

MindSpore Lite提供对Runtime的libmindspore-lite.a静态库裁剪工具，能够筛选出ms模型中存在的算子，对静态库文件进行裁剪，有效降低库文件大小。

可视化工具

Netron是一个基于Electron平台开发的神经网络模型可视化工具，支持MindSpore Lite模型，可以方便地查看模型信息。

模型混淆工具

MindSpore Lite提供一个轻量级的离线模型混淆工具，可用于保护IOT或端侧设备上部署的模型文件的机密性。

使用C++接口执行云侧推理

本教程介绍如何使用C++接口执行云侧推理。

使用Java接口执行云侧推理

本教程介绍如何使用Java接口执行云侧推理。

使用Python接口执行云侧推理

本教程介绍如何使用Python接口执行云侧推理。

使用C++接口执行并发推理

本教程介绍如何使用C++接口执行多model并发推理。

使用Java接口执行并发推理

本教程介绍如何使用Java接口执行多model并发推理。

使用Python接口执行并发推理

本教程介绍如何使用Python接口执行多model并发推理。

推理模型离线转换

MindSpore Lite提供云侧离线转换模型功能的工具，支持多种类型的模型转换，转换后的模型可用于推理。

使用Python接口模型转换

MindSpore Lite支持通过Python接口进行云侧模型转换，支持多种类型的模型转换，转换后的模型可用于推理。

benchmark

转换模型后执行云侧推理前，你可以使用Benchmark工具对MindSpore Lite模型进行基准测试。它不仅可以对MindSpore Lite模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。

总体架构

MindSpore Lite是一款极速、极智、极简的AI引擎，使能全场景智能应用，为用户提供端到端的解决方案，帮助用户使能AI能力。

Lite算子支持

本文列举MindSpore Lite支持的算子。

Codegen算子支持

本文列举MindSpore Lite Codegen支持的算子。

图像分类模型

图像分类模型可以预测图片中出现哪些物体，识别出图片中出现物体列表及其概率。

目标检测模型

目标检测可以识别出图片中的对象和该对象在图片中的位置。

图像分割模型

图像分割是用于检测目标在图片中的位置或者图片中某一像素是输入何种对象的。

风格迁移模型

风格迁移模型可以根据demo内置的标准图片改变用户目标图片的艺术风格，并在App图像预览界面中显示出来。

场景检测模型

场景检测可以识别设备摄像头中场景的类型。

问题定位指南

在MindSpore Lite使用中遇到问题时，可首先查看日志，多数场景下的问题可以通过日志报错信息直接定位（通过设置环境变量GLOG_v 调整日志等级可以打印更多调试日志），这里简单介绍几种常见报错场景的问题定位与解决方法。

日志

可以通过日志报错信息定位错误。