mindspore_serving.client
MindSpore Serving客户端API,用于通过gRPC访问MindSpore Serving服务器。
- class mindspore_serving.client.Client(address, servable_name, method_name, version_number=0, ssl_config=None)[源代码]
通过Client访问Serving服务器gRPC接口,可用于创建请求、访问服务和解析结果。
Note
Serving客户端在一个请求中可以发送的最大数据量为512MB,Serving服务器可以接收的最大数据量可以配置为1~512MB,默认为100MB。
参数:
address (str) - Serving服务器gRPC接口地址。
servable_name (str) - Serving服务器提供的服务的名称。
method_name (str) - 服务中方法的名称。
version_number (int, optional) - 服务的版本号,0表示指定所有正在运行的一个或多个版本的服务中最大的版本号。默认值:0。
ssl_config (mindspore_serving.client.SSLConfig, optional) - SSL配置,如果None,则禁用SSL。默认值:None。
异常:
RuntimeError - 参数的类型或值无效,或发生其他错误。
样例:
>>> from mindspore_serving.client import Client >>> import numpy as np >>> client = Client("localhost:5500", "add", "add_cast") >>> instances = [] >>> x1 = np.ones((2, 2), np.int32) >>> x2 = np.ones((2, 2), np.int32) >>> instances.append({"x1": x1, "x2": x2}) >>> result = client.infer(instances) >>> print(result)
- infer(instances)[源代码]
用于创建请求、访问服务、解析和返回结果。
参数:
instances (Union[dict, tuple[dict]]) - 一个实例或一组实例的输入,每个实例都是dict。dict的key是输入名称,value是输入值。value的类型可以是Python int、float、bool、str、bytes、numpy scalar或numpy array对象。
异常:
RuntimeError - 参数的类型或值无效,或发生其他错误。
样例:
>>> from mindspore_serving.client import Client >>> import numpy as np >>> client = Client("localhost:5500", "add", "add_cast") >>> instances = [] >>> x1 = np.ones((2, 2), np.int32) >>> x2 = np.ones((2, 2), np.int32) >>> instances.append({"x1": x1, "x2": x2}) >>> result = client.infer(instances) >>> print(result)
- infer_async(instances)[源代码]
用于创建请求,异步访问服务。
参数:
instances (Union[dict, tuple[dict]]) - 一个实例或一组实例的输入,每个实例都是dict。dict的key是输入名称,value是输入值。value的类型可以是Python int、float、bool、str、bytes、numpy scalar或numpy array对象。
异常:
RuntimeError - 参数的类型或值无效,或发生其他错误。
样例:
>>> from mindspore_serving.client import Client >>> import numpy as np >>> client = Client("localhost:5500", "add", "add_cast") >>> instances = [] >>> x1 = np.ones((2, 2), np.int32) >>> x2 = np.ones((2, 2), np.int32) >>> instances.append({"x1": x1, "x2": x2}) >>> result_future = client.infer_async(instances) >>> result = result_future.result() >>> print(result)
- class mindspore_serving.client.SSLConfig(certificate=None, private_key=None, custom_ca=None)[源代码]
Serving服务器gRPC SSL使能时,通过SSLConfig封装SSL证书等相关参数。
参数:
certificate (str, optional) - PEM编码的证书链内容,如果为None,表示不使用证书链。默认值:None。
private_key (str, optional) - PEM编码的私钥内容,如果为None,表示不使用私钥。默认值:None。
custom_ca (str, optional) - PEM编码的根证书内容,如果为None,gRPC运行时将从默认位置加载根证书。默认值:None。
异常:
RuntimeError - 参数的类型或值无效。