MindSpore Serving类

查看源文件

Q：MindSpore Serving是否支持热更新，避免推理服务中断？

A：MindSpore Serving当前不支持热更新，需要用户重启；当前建议跑多个Serving服务，升级模型版本时，重启部分服务以避免服务中断。


Q：MindSpore Serving是否支持一个模型启动多个Worker，以支持多卡单模型并发？

A：MindSpore Serving暂未支持分流，即不支持一个模型启动多个Worker，这个功能正在开发中；当前建议跑多个Serving服务，通过对接多个Serving服务的服务器进行分流和负载均衡。另外，为了避免master和worker之间的消息转发，可以使用接口start_servable_in_master使master和worker执行在同一进程，实现Serving服务轻量级部署。


Q：MindSpore Serving的版本和MindSpore的版本如何配套？

A：MindSpore Serving配套相同版本号的MindSpore的版本，比如Serving 1.1.1版本配套 MindSpore 1.1.1版本。


Q：编译应用时报错bash -p方式和 bash -e方式的区别？

A：MindSpore Serving的编译和运行依赖MindSpore，Serving提供两种编译方式：一种指定已安装的MindSpore路径，即bash -p {python site-packages}/mindspore/lib，避免编译Serving时再编译MindSpore；另一种，编译Serving时，编译配套的MindSpore，Serving会将-e、-V和-j选项透传给MindSpore。 比如，在Serving目录下，bash -e ascend -V 910 -j32：

  • 首先将会以bash -e ascend -V 910 -j32方式编译third_party/mindspore目录下的MindSpore；

  • 其次，编译脚本将MindSpore编译结果作为Serving的编译依赖。


Q：运行应用时报错libmindspore.so: cannot open shared object file: No such file or directory怎么办？

A：首先，需要确认是否安装MindSpore Serving所依赖的MindSpore；其次，Serving 1.1需要配置LD_LIBRARY_PATH，显式指定libmindspore.so所在路径，libmindspore.so当前在MindSpore Python安装路径的lib目录下；Serving 1.2后不再需要显示指定libmindspore.so所在路径，Serving会基于MindSpore安装路径查找并追加配置LD_LIBRARY_PATH，用户不再需要感知。