MindSpore Serving 文档

MindSpore Serving是一款轻量级、高性能的服务工具,帮助用户在生产环境中高效部署在线推理服务。

当用户使用昇思MindSpore完成模型训练后,导出MindSpore模型,即可使用MindSpore Serving创建该模型的推理服务。

MindSpore Serving包含以下功能:

  • 支持自定义关于模型的预处理和后处理,简化模型的发布和部署。

  • 支持batch功能,包含多个实例的请求会被拆分组合以满足模型batch size的需要。

  • 支持分布式模型推理功能。

  • 支持客户端gRPC接口,提供简单易用的客户端Python封装接口。

  • 支持客户端RESTful接口。

代码仓地址: <https://gitee.com/mindspore/serving>

使用MindSpore Serving的典型场景

  1. 快速入门

    以一个简单的Add网络为例,演示如何使用MindSpore Serving部署推理服务。

  2. 使用gRPC接口访问服务

    高性能、简单方便地访问服务。

  3. 使用RESTful接口访问服务

    基于HTTP协议访问服务。

参考文档

RELEASE NOTES