编译云侧MindSpore Lite
本章节介绍如何快速编译出云侧MindSpore Lite。
云侧MindSpore Lite包含模块：
模块 |
支持平台 |
说明 |
|---|---|---|
converter |
Linux |
模型转换工具 |
runtime(cpp、java) |
Linux |
模型推理框架 |
benchmark |
Linux |
基准测试工具 |
minddata |
Linux |
图像处理库 |
akg |
Linux |
基于Polyhedral的算子编译器（Auto Kernel Generator） |
环境要求
系统环境：Linux x86_64或arm64，推荐使用Ubuntu 18.04.02LTS。
C++编译依赖
Java API模块的编译依赖（可选），未设置JAVA_HOME环境变量则不编译该模块。
Gradle >= 6.6.1
配置环境变量：
export GRADLE_HOME=GRADLE路径和export GRADLE_USER_HOME=GRADLE路径将bin目录添加到PATH中：
export PATH=${GRADLE_HOME}/bin:$PATH
Maven >= 3.3.1
配置环境变量：
export MAVEN_HOME=MAVEN路径将bin目录添加到PATH中：
export PATH=${MAVEN_HOME}/bin:$PATH
OpenJDK 1.8 到 1.15
配置环境变量：
export JAVA_HOME=JDK路径将bin目录添加到PATH中：
export PATH=${JAVA_HOME}/bin:$PATH
Python API模块的编译依赖（可选），未安装Python3或者NumPy则不编译该模块。
AKG（可选，默认编译），未安装LLVM-12或者Python3则不编译akg，未安装git-lfs则无法编译ascend后端的akg。
Gradle建议采用gradle-6.6.1-complete版本，配置其他版本gradle将会采用gradle wrapper机制自动下载
gradle-6.6.1-complete。也可直接使用已配置好上述依赖的Docker编译镜像。
下载镜像：
docker pull swr.cn-south-1.myhuaweicloud.com/mindspore-build/mindspore-lite:ubuntu18.04.2-20210530创建容器：
docker run -tid --net=host --name=docker01 swr.cn-south-1.myhuaweicloud.com/mindspore-build/mindspore-lite:ubuntu18.04.2-20210530进入容器：
docker exec -ti -u 0 docker01 bash
编译选项
MindSpore根目录下的build.sh脚本可用于云侧MindSpore Lite的编译。
build.sh的参数使用说明
参数 |
参数说明 |
取值范围 |
默认值 |
|---|---|---|---|
-I |
选择目标架构 |
arm64、x86_64 |
无 |
-d |
设置该参数，则编译Debug版本，否则编译Release版本 |
无 |
无 |
-i |
设置该参数，则进行增量编译，否则进行全量编译 |
无 |
无 |
-j[n] |
设定编译时所用的线程数，否则默认设定为8线程 |
Integer |
8 |
-K |
设定编译时是否编译akg，否则默认编译akg |
on、off |
on |
若配置了JAVA_HOME环境变量并安装了Gradle，则同时编译JAR包。
在
-I参数变动时，如-I x86_64变为-I arm64，添加-i参数进行增量编译不生效。不支持交叉编译，即arm64版本需要在arm环境编译。
模块构建编译选项
模块的构建通过环境变量进行控制，用户可通过声明相关环境变量，控制编译构建的模块。在修改编译选项后，为使选项生效，在使用build.sh脚本进行编译时，不可添加-i参数进行增量编译。
通用模块编译选项如下：
选项 |
参数说明 |
取值范围 |
默认值 |
|---|---|---|---|
MSLITE_GPU_BACKEND |
设置GPU后端，在 |
tensorrt、off |
在 |
MSLITE_ENABLE_TOOLS |
是否编译配套Benchmark基准测试工具 |
on、off |
on |
MSLITE_ENABLE_TESTCASES |
是否编译测试用例 |
on、off |
off |
MSLITE_ENABLE_ACL |
是否使能昇腾ACL |
on、off |
off |
MSLITE_ENABLE_CLOUD_INFERENCE |
是否使能云侧推理 |
on、off |
off |
MSLITE_ENABLE_SSE |
是否启用SSE指令集，仅在 |
on、off |
off |
MSLITE_ENABLE_AVX512 |
是否启用AVX512指令集，仅在 |
on、off |
off |
云侧推理版本依赖模型转换工具，因此当
MSLITE_ENABLE_CLOUD_INFERENCE配置为on时，会同时编译converter。若环境只支持SSE指令集，AVX512指令集需配置为
off。
编译示例
首先，在进行编译之前，需从MindSpore代码仓下载源码。
git clone https://gitee.com/mindspore/mindspore.git
环境准备
Ascend
确认安装昇腾AI处理器配套软件包。
昇腾软件包提供商用版和社区版两种下载途径：
商用版下载需要申请权限，下载链接与安装方式请参考Ascend Data Center Solution 23.0.RC3安装指引文档。
社区版下载不受限制，下载链接请前往CANN社区版，选择
7.0.RC1.beta1版本，以及在固件与驱动链接中获取对应的固件和驱动安装包，安装包的选择与安装方式请参照上述的商用版安装指引文档。
安装包默认安装路径为
/usr/local/Ascend。安装后确认当前用户有权限访问昇腾AI处理器配套软件包的安装路径，若无权限，需要root用户将当前用户添加到/usr/local/Ascend所在的用户组。安装昇腾AI处理器配套软件所包含的whl包。如果之前已经安装过昇腾AI处理器配套软件包，需要先使用如下命令卸载对应的whl包。
pip uninstall te topi -y
默认安装路径使用以下指令安装。如果安装路径不是默认路径，需要将命令中的路径替换为安装路径。
pip install /usr/local/Ascend/ascend-toolkit/latest/lib64/topi-{version}-py3-none-any.whl pip install /usr/local/Ascend/ascend-toolkit/latest/lib64/te-{version}-py3-none-any.whl
配置环境变量
安装好Ascend软件包之后，需要导出Runtime相关环境变量，下述命令中
LOCAL_ASCEND=/usr/local/Ascend的/usr/local/Ascend表示配套软件包的安装路径，需注意将其改为配套软件包的实际安装路径。# control log level. 0-EBUG, 1-INFO, 2-WARNING, 3-ERROR, 4-CRITICAL, default level is WARNING. export GLOG_v=2 # Conda environmental options LOCAL_ASCEND=/usr/local/Ascend # the root directory of run package # lib libraries that the run package depends on export LD_LIBRARY_PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/lib64:${LOCAL_ASCEND}/driver/lib64:${LOCAL_ASCEND}/ascend-toolkit/latest/opp/op_impl/built-in/ai_core/tbe/op_tiling:${LD_LIBRARY_PATH} # Environment variables that must be configured export TBE_IMPL_PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/opp/op_impl/built-in/ai_core/tbe # TBE operator implementation tool path export ASCEND_OPP_PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/opp # OPP path export PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/compiler/ccec_compiler/bin/:${PATH} # TBE operator compilation tool path export PYTHONPATH=${TBE_IMPL_PATH}:${PYTHONPATH} # Python library that TBE implementation depends on
GPU
GPU环境编译，使用TensorRT需要集成CUDA、TensorRT。当前版本适配CUDA 11.1 和 TensorRT 8.5.1。
安装相应版本的CUDA，并将安装后的目录设置为环境变量${CUDA_HOME}。构建脚本将使用这个环境变量寻找CUDA。
下载对应版本的TensorRT压缩包，并将压缩包解压后的目录设置为环境变量${TENSORRT_PATH}。构建脚本将使用这个环境变量寻找TensorRT。
CPU
使用x86_64或ARM64环境。
安装LLVM-可选
模型转换工具中图算融合功能的CPU后端需要依赖LLVM-12，可以通过以下命令安装LLVM。如果没有安装LLVM-12则图算融合功能仅能支持GPU和Ascend后端。
wget -O - https://apt.llvm.org/llvm-snapshot.gpg.key | sudo apt-key add -
sudo add-apt-repository "deb http://apt.llvm.org/bionic/ llvm-toolchain-bionic-12 main"
sudo apt-get update
sudo apt-get install llvm-12-dev -y
执行编译
三后端合一包需配置如下环境变量
export MSLITE_ENABLE_CLOUD_INFERENCE=on
export MSLITE_GPU_BACKEND=tensorrt
export MSLITE_ENABLE_ACL=on
如无需Ascend后端，可配置
export MSLITE_ENABLE_ACL=off如无需GPU后端，可配置
export MSLITE_GPU_BACKEND=off
在源码根目录下执行如下命令，可编译不同版本的MindSpore Lite。
编译x86_64架构版本，同时设定线程数。
bash build.sh -I x86_64 -j32
编译arm64架构版本，同时设定线程数。
bash build.sh -I arm64 -j32
编译x86_64架构版本，同时设定线程数，但是不编译AKG。
bash build.sh -I x86_64 -j32 -K off
最后，会在output/目录中生成如下文件：
mindspore-lite-{version}-{os}-{arch}.tar.gz：包含runtime和配套工具。mindspore-lite-{version}-{python}-{os}-{arch}.whl：包含runtime(Python)的Whl包。
version: 输出件版本号，与所编译的分支代码对应的版本一致。
python: 输出件Python版本，如：Python3.7为
cp37-cp37m。os: 输出件应部署的操作系统。
arch: 输出件应部署的系统架构。
若要体验Python接口，需要移动到output/目录下，使用以下命令进行安装Whl安装包。
pip install mindspore-lite-{version}-{python}-{os}-{arch}.whl
安装后可以使用以下命令检查是否安装成功：若无报错，则表示安装成功。
python -c "import mindspore_lite"
安装后可以使用以下命令检查mindspore_lite内置的AKG是否安装成功：若无报错，则表示安装成功。
python -c "import mindspore_lite.akg"
安装成功后，可使用pip show mindspore_lite命令查看MindSpore Lite的Python模块的安装位置。
目录结构
mindspore-lite-{version}-linux-{arch}
├── runtime
│ ├── include
│ ├── lib
│ │ ├── libascend_kernel_plugin.so # Ascend Kernel插件动态库
│ │ ├── libdvpp_utils.so # DVPP图像预处理工具动态库
│ │ ├── libminddata-lite.a # 图像处理静态库
│ │ ├── libminddata-lite.so # 图像处理动态库
│ │ ├── libmindspore-core.so # MindSpore Core动态库
│ │ ├── libmindspore-glog.so.0 # glog动态库
│ │ ├── libmindspore-lite-jni.so # MindSpore Lite推理框架的jni动态库
│ │ ├── libmindspore-lite.so # MindSpore Lite推理框架动态库
│ │ ├── libmsplugin-ge-litert.so # GE LiteRT插件动态库
│ │ └── mindspore-lite-java.jar # MindSpore Lite推理框架jar包
│ └── third_party
│ ├── glog
│ ├── libjpeg-turbo
│ └── securec
└── tools
├── akg
| └── akg-{version}-{python}-linux-{arch}.whl # AKG的whl包
├── benchmark # 基准测试工具
│ └── benchmark # 基准测试工具可执行文件
└── converter # 模型转换工具
├── converter
│ └── converter_lite # 转换工具可执行文件
├── include
└── lib
├── libascend_pass_plugin.so
├── libmindspore_converter.so
├── libmindspore_core.so
├── libmindspore_glog.so.0
├── libmslite_shared_lib.so
├── libmslite_converter_plugin.so
├── libopencv_core.so.4.5
├── libopencv_imgcodecs.so.4.5
└── libopencv_imgproc.so.4.5