推理执行

MindSpore可以基于训练好的模型，在不同的硬件平台上执行推理任务，还可以基于MindSpore Serving部署在线推理服务。

基于模型推理服务

总览

MindSpore支持保存为CheckPoint格式的训练参数文件和MindIR、AIR、ONNX格式的网络模型文件。

参考执行推理，不仅可以直接通过mindspore.model.predict接口执行本机推理，还可以通过mindspore.export导出MindIR、AIR、ONNX格式的网络模型文件，以便于跨平台执行推理。

使用MindIR格式的模型文件消除了不同后端模型的差异，可以用于执行跨硬件平台推理，支持部署到云端Serving和端侧Lite平台。

不同硬件平台执行推理

• Ascend硬件平台参考Ascend 910 AI处理器上推理和Ascend 310 AI处理器上推理。

• GPU硬件平台参考GPU上推理。

• CPU硬件平台参考CPU上推理。

• Lite端侧推理的相关应用参考端侧推理。

Ascend硬件平台推理的接口使用问题参考C++接口使用类解决。

基于MindSpore Serving部署在线推理服务

MindSpore Serving是一个轻量级、高性能的服务模块，旨在帮助MindSpore开发者在生产环境中高效部署在线推理服务。当用户使用MindSpore完成模型训练后，导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。参考以下几个样例进行部署：

• 基于MindSpore Serving部署推理服务。

• 基于gRPC接口访问MindSpore Serving服务。

• 基于RESTful接口访问MindSpore Serving服务。

• 通过配置模型提供Servable。

• 基于MindSpore Serving部署分布式推理服务。

MindSpore Serving部署在线推理服务的问题可以参考MindSpore Serving类解决。