推理执行
MindSpore可以基于训练好的模型,在不同的硬件平台上执行推理任务,还可以基于MindSpore Serving部署在线推理服务。
基于模型推理服务
总览
MindSpore支持保存为CheckPoint格式的训练参数文件和MindIR、AIR、ONNX格式的网络模型文件。
参考执行推理,不仅可以直接通过mindspore.model.predict
接口执行本机推理,还可以通过mindspore.export
导出MindIR、AIR、ONNX格式的网络模型文件,以便于跨平台执行推理。
使用MindIR格式的模型文件消除了不同后端模型的差异,可以用于执行跨硬件平台推理,支持部署到云端Serving和端侧Lite平台。
不同硬件平台执行推理
Ascend硬件平台参考Ascend 910 AI处理器上推理和Ascend 310 AI处理器上推理。
GPU/CPU硬件平台参考GPU/CPU上推理。
Lite端侧推理的相关应用参考端侧推理。
Ascend硬件平台推理的接口使用问题参考C++接口使用类解决。
基于MindSpore Serving部署在线推理服务
MindSpore Serving是一个轻量级、高性能的服务模块,旨在帮助MindSpore开发者在生产环境中高效部署在线推理服务。当用户使用MindSpore完成模型训练后,导出MindSpore模型,即可使用MindSpore Serving创建该模型的推理服务。参考以下几个样例进行部署:
MindSpore Serving部署在线推理服务的问题可以参考MindSpore Serving类解决。