ModelParallelRunner

import com.mindspore.config.RunnerConfig;

ModelParallelRunner定义了MindSpore Lite并发推理。

公有成员函数

function

long getModelParallelRunnerPtr()

boolean init()

boolean predict()

boolean getInputs()

boolean getOutputs()

void free()

getModelParallelRunnerPtr

public long getModelParallelRunnerPtr()

获取底层并发推理类指针。

  • 返回值

    底层并发推理类指针。

init

public boolean init(String modelPath, RunnerConfig runnerConfig)

根据路径读取加载模型,生成一个或者多个模型,并将所有模型编译至可在Device上运行的状态。

  • 参数

    • modelPath: 模型文件路径。

    • runnerConfig: 一个RunnerConfig结构体。定义了并发推理模型的配置参数。

  • 返回值

    是否初始化成功。

public boolean init(String modelPath)

根据路径读取加载模型,生成一个或者多个模型,并将所有模型编译至可在Device上运行的状态。

  • 参数

    • modelPath: 模型文件路径。

  • 返回值

    是否初始化成功。

predict

public boolean predict(List<MSTensor> inputs, List<MSTensor> outputs)

并发推理模型。

  • 参数

    • inputs: 模型输入。

    • outputs: 模型输出。

  • 返回值

    是否推理成功。

getInputs

public List<MSTensor> getInputs()

获取模型所有输入张量。

  • 返回值

    模型的输入张量列表。

getOutputs

public List<MSTensor> getOutputs()

获取模型所有输入张量。

  • 返回值

    模型的输出张量列表。

free

public void free()

释放并发推理类内存。