MindSpore Serving 文档

MindSpore Serving是一款轻量级、高性能的服务工具，帮助用户在生产环境中高效部署在线推理服务。

当用户使用昇思MindSpore完成模型训练后，导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。

MindSpore Serving包含以下功能：

  • 支持自定义关于模型的预处理和后处理，简化模型的发布和部署。

  • 支持batch功能，包含多个实例的请求会被拆分组合以满足模型batch size的需要。

  • 支持分布式模型推理功能。

  • 支持客户端gRPC接口，提供简单易用的客户端Python封装接口。

  • 支持客户端RESTful接口。

代码仓地址： <https://gitee.com/mindspore/serving>

使用MindSpore Serving的典型场景

  1. 快速入门

    以一个简单的Add网络为例，演示如何使用MindSpore Serving部署推理服务。

  2. 使用gRPC接口访问服务

    高性能、简单方便地访问服务。

  3. 使用RESTful接口访问服务

    基于HTTP协议访问服务。

安装部署

使用指南

API参考

参考文档

RELEASE NOTES