mindspore_lite.Model

class mindspore_lite.Model

Model类用于定义MindSpore Lite模型，便于计算图管理。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> print(model)
model_path: .

build_from_file(model_path, model_type, context, config_path='')

从文件加载并构建模型。

参数：

• model_path (str) - 定义输入模型文件的路径，例如：”/home/user/model.ms”。选项：MindSpore模型: “model.mindir” | MindSpore Lite模型: “model.ms”

• model_type (ModelType) - 定义输入模型文件的类型。选项：ModelType::MINDIR | ModelType::MINDIR_LITE。有关详细信息，请参见 ModelType 。

• context (Context) - 定义上下文，用于在执行期间传递选项。

• config_path (str，可选) - 定义配置文件的路径，用于在构建模型期间传递用户定义选项。在以下场景中，用户可能需要设置参数。例如：”/home/user/config.txt”。默认值：””。

  • 用法1 - 进行混合精度推理的设置，配置文件内容及说明如下：

    [execution_plan]
    [op_name1]=data_type:float16（名字为op_name1的算子设置数据类型为Float16）
    [op_name2]=data_type:float32（名字为op_name2的算子设置数据类型为Float32）
    

  • 用法2 - 在使用GPU推理时，进行TensorRT设置，配置文件内容及说明如下：

    [ms_cache]
    serialize_path=[serialization model path]（序列化模型的存储路径）
    [gpu_context]
    input_shape=input_name:[input_dim]（模型输入维度，用于动态shape）
    dynamic_dims=[min_dim~max_dim]（模型输入的动态维度范围，用于动态shape）
    opt_dims=[opt_dim]（模型最优输入维度，用于动态shape）
    

异常：

• TypeError - model_path 不是str类型。

• TypeError - model_type 不是ModelType类型。

• TypeError - context 不是Context类型。

• TypeError - config_path 不是str类型。

• RuntimeError - model_path 文件路径不存在。

• RuntimeError - config_path 文件路径不存在。

• RuntimeError - 从 config_path 加载配置文件失败。

• RuntimeError - 从文件加载并构建模型失败。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> print(model)
model_path: mobilenetv2.ms.

get_input_by_tensor_name(tensor_name)

按Tensor名称获取模型的输入Tensor。

参数：

• tensor_name (str) - 模型的一个输入Tensor的名字。

返回：

Tensor，通过Tensor的名称获得的模型的输入Tensor。

异常：

• TypeError - tensor_name 不是str类型。

• RuntimeError - 按名称获取模型输入Tensor失败。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> input_tensor = model.get_input_by_tensor_name("graph_input-173")
>>> print(input_tensor)
tensor_name: graph_input-173,
data_type: DataType.FLOAT32,
shape: [1, 224, 224, 3],
format: Format.NHWC,
element_num: 150528,
data_size: 602112.

get_inputs()

获取模型的所有输入Tensor。

返回：

list[Tensor]，模型的输入Tensor列表。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> inputs = model.get_inputs()

get_output_by_tensor_name(tensor_name)

按Tensor名称获取模型的输出Tensor。

参数：

• tensor_name (str) - 模型的一个输出Tensor的名字。

返回：

Tensor，通过Tensor的名称获得的模型的输出Tensor。

异常：

• TypeError - tensor_name 不是str类型。

• RuntimeError - 按名称获取模型输出Tensor失败。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> output_tensor = model.get_output_by_tensor_name("Softmax-65")
>>> print(output_tensor)
tensor_name: Softmax-65,
data_type: DataType.FLOAT32,
shape: [1, 1001],
format: Format.NHWC,
element_num: 1001,
data_size: 4004.

get_outputs()

获取模型的所有输出Tensor。

返回：

list[Tensor]，模型的输出Tensor列表。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> outputs = model.get_outputs()

predict(inputs, outputs)

推理模型。

参数：

• inputs (list[Tensor]) - 包含所有输入Tensor的顺序列表。

• outputs (list[Tensor]) - 模型输出按顺序填充到容器中。

异常：

• TypeError - inputs 不是list类型。

• TypeError - inputs 是list类型，但元素不是Tensor类型。

• TypeError - outputs 不是list类型。

• TypeError - outputs 是list类型，但元素不是Tensor类型。

• RuntimeError - 预测推理模型失败。

样例：

>>> # 1. predict which indata is from file
>>> import mindspore_lite as mslite
>>> import numpy as np
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> inputs = model.get_inputs()
>>> outputs = model.get_outputs()
>>> in_data = np.fromfile("input.bin", dtype=np.float32)
>>> inputs[0].set_data_from_numpy(in_data)
>>> model.predict(inputs, outputs)
>>> for output in outputs:
...     data = output.get_data_to_numpy()
...     print("outputs: ", data)
...
outputs:  [[1.02271215e-05 9.92699006e-06 1.69684317e-05 ... 6.69087376e-06
2.16263197e-06 1.24009384e-04]]
>>> # 2. predict which indata is numpy array
>>> import mindspore_lite as mslite
>>> import numpy as np
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> inputs = model.get_inputs()
>>> outputs = model.get_outputs()
>>> for input in inputs:
...     in_data = np.arange(1 * 224 * 224 * 3, dtype=np.float32).reshape((1, 224, 224, 3))
...     input.set_data_from_numpy(in_data)
...
>>> model.predict(inputs, outputs)
>>> for output in outputs:
...     data = output.get_data_to_numpy()
...     print("outputs: ", data)
...
outputs:  [[0.00035889 0.00065501 0.00052925 ... 0.00018388 0.00148316 0.00116824]]
>>> # 3. predict which indata is from new MindSpore Lite's Tensor with numpy array
>>> import mindspore_lite as mslite
>>> import numpy as np
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> inputs = model.get_inputs()
>>> outputs = model.get_outputs()
>>> input_tensors = []
>>> for input in inputs:
...     input_tensor = mslite.Tensor()
...     input_tensor.set_data_type(input.get_data_type())
...     input_tensor.set_shape(input.get_shape())
...     input_tensor.set_format(input.get_format())
...     input_tensor.set_tensor_name(input.get_tensor_name())
...     in_data = np.arange(1 * 224 * 224 * 3, dtype=np.float32).reshape((1, 224, 224, 3))
...     input_tensor.set_data_from_numpy(in_data)
...     input_tensors.append(input_tensor)
...
>>> model.predict(input_tensors, outputs)
>>> for output in outputs:
...     data = output.get_data_to_numpy()
...     print("outputs: ", data)
...
outputs:  [[0.00035889 0.00065501 0.00052925 ... 0.00018388 0.00148316 0.00116824]]

resize(inputs, dims)

调整输入形状的大小。此方法用于以下场景：

1. 如果需要预测相同大小的多个输入，可以将 dims 的batch（N）维度设置为输入的数量，那么可以同时执行多个输入的推理。

2. 将输入大小调整为指定shape。

3. 当输入是动态shape时（模型输入的shape的维度包含-1），必须通过 resize 把-1换成固定维度。

4. 模型中包含的shape算子是动态shape（shape算子的维度包含-1）。

参数：

• inputs (list[Tensor]) - 包含所有输入Tensor的顺序列表。

• dims (list[list[int]]) - 定义输入Tensor的新形状的列表，应与输入Tensor的顺序一致。

异常：

• TypeError - inputs 不是list类型。

• TypeError - inputs 是list类型，但元素不是Tensor类型。

• TypeError - dims 不是list类型。

• TypeError - dims 是list类型，但元素不是list类型。

• TypeError - dims 是list类型，元素是list类型，但元素的元素不是int类型。

• ValueError - inputs 的size不等于 dims 的size。

• RuntimeError - 调整输入形状的大小失败。

样例：

>>> import mindspore_lite as mslite
>>> model = mslite.Model()
>>> context = mslite.Context()
>>> context.append_device_info(mslite.CPUDeviceInfo())
>>> model.build_from_file("mobilenetv2.ms", mslite.ModelType.MINDIR_LITE, context)
>>> inputs = model.get_inputs()
>>> print("Before resize, the first input shape: ", inputs[0].get_shape())
Before resize, the first input shape: [1, 224, 224, 3]
>>> model.resize(inputs, [[1, 112, 112, 3]])
>>> print("After resize, the first input shape: ", inputs[0].get_shape())
After resize, the first input shape: [1, 112, 112, 3]