mindspore_lite.RunnerConfig

class mindspore_lite.RunnerConfig(context=None, workers_num=None, config_info=None)[源代码]

RunnerConfig类定义一个或多个Servables的runner config。 该类可用于模型的并行推理,与模型提供的服务相对应。 客户端通过往服务器发送推理任务并接收推理结果。

参数:
  • context (Context,可选) - 定义用于在执行期间存储选项的上下文。默认值:None。

  • workers_num (int,可选) - workers的数量。默认值:None。

  • config_info (dict{str: dict{str: str}},可选) - 传递模型权重文件路径的嵌套映射。例如:{“weight”: {“weight_path”: “/home/user/weight.cfg”}}。默认值:None。key当前支持[“weight”];value为dict格式,其中的key当前支持[“weight_path”],其中的value为权重的路径,例如”/home/user/weight.cfg”。

异常:
  • TypeError - context 既不是Context类型也不是None。

  • TypeError - workers_num 既不是int类型也不是None。

  • TypeError - config_info 既不是dict类型也不是None。

  • TypeError - config_info 是dict类型,但key不是str类型。

  • TypeError - config_info 是dict类型,key是str类型,但value不是dict类型。

  • TypeError - config_info 是dict类型,key是str类型,value是dict类型,但value的key不是str类型。

  • TypeError - config_info 是dict类型,key是str类型,value是dict类型,value的key是str类型,但value的value不是str类型。

  • ValueError - workers_num 是int类型,但小于0。

样例:

>>> # only for serving inference
>>> import mindspore_lite as mslite
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> config_info = {"weight": {"weight_path": "path of model weight"}}
>>> runner_config = mslite.RunnerConfig(context=context, workers_num=0, config_info=config_info)
>>> print(runner_config)
workers num: 0,
config info: weight: weight_path path of model weight
,
context: thread num: 0, bind mode: 1.