Ascend 910 AI处理器上推理

Linux Ascend 推理应用 初级 中级 高级

使用checkpoint格式文件单卡推理

1. 使用model.eval接口来进行模型验证。

   1.1 模型已保存在本地

   首先构建模型，然后使用mindspore.train.serialization模块的load_checkpoint和load_param_into_net从本地加载模型与参数，传入验证数据集后即可进行模型推理，验证数据集的处理方式与训练数据集相同。

   network = LeNet5(cfg.num_classes)
   net_loss = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction="mean")
   net_opt = nn.Momentum(network.trainable_params(), cfg.lr, cfg.momentum)
   model = Model(network, net_loss, net_opt, metrics={"Accuracy": Accuracy()})
   
   print("============== Starting Testing ==============")
   param_dict = load_checkpoint(args.ckpt_path)
   load_param_into_net(network, param_dict)
   dataset = create_dataset(os.path.join(args.data_path, "test"),
                            cfg.batch_size,
                            1)
   acc = model.eval(dataset, dataset_sink_mode=args.dataset_sink_mode)
   print("============== {} ==============".format(acc))
   

   其中，
   model.eval为模型验证接口，对应接口说明：https://www.mindspore.cn/docs/api/zh-CN/r1.3/api_python/mindspore.html#mindspore.Model.eval。

   推理样例代码：https://gitee.com/mindspore/mindspore/blob/r1.3/model_zoo/official/cv/lenet/eval.py。

   1.2 使用MindSpore Hub从华为云加载模型

   首先构建模型，然后使用mindspore_hub.load从云端加载模型参数，传入验证数据集后即可进行推理，验证数据集的处理方式与训练数据集相同。

   model_uid = "mindspore/ascend/0.7/googlenet_v1_cifar10"  # using GoogleNet as an example.
   network = mindspore_hub.load(model_uid, num_classes=10)
   net_loss = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction="mean")
   net_opt = nn.Momentum(network.trainable_params(), cfg.lr, cfg.momentum)
   model = Model(network, net_loss, net_opt, metrics={"Accuracy": Accuracy()})
   
   print("============== Starting Testing ==============")
   dataset = create_dataset(os.path.join(args.data_path, "test"),
                            cfg.batch_size,
                            1)
   acc = model.eval(dataset, dataset_sink_mode=args.dataset_sink_mode)
   print("============== {} ==============".format(acc))
   

   其中，
   mindspore_hub.load为加载模型参数接口，对应接口说明：https://www.mindspore.cn/hub/api/zh-CN/r1.3/index.html#module-mindspore_hub。

2. 使用model.predict接口来进行推理操作。

   model.predict(input_data)
   

   其中，
   model.predict为推理接口，对应接口说明：https://www.mindspore.cn/docs/api/zh-CN/r1.3/api_python/mindspore.html#mindspore.Model.predict。

使用C++接口推理MindIR格式文件

用户可以创建C++应用程序，调用MindSpore的C++接口推理MindIR模型。

推理目录结构介绍

创建目录放置推理代码工程，例如/home/HwHiAiUser/mindspore_sample/ascend910_resnet50_preprocess_sample，可以从官网示例下载样例代码，model目录用于存放上述导出的MindIR模型文件，test_data目录用于存放待分类的图片，推理代码工程目录结构如下:

└─ascend910_resnet50_preprocess_sample
    ├── CMakeLists.txt                    // 构建脚本
    ├── README.md                         // 使用说明
    ├── main.cc                           // 主函数
    ├── model
    │   └── resnet50_imagenet.mindir      // MindIR模型文件
    └── test_data
        ├── ILSVRC2012_val_00002138.JPEG  // 输入样本图片1
        ├── ILSVRC2012_val_00003014.JPEG  // 输入样本图片2
        ├── ...                           // 输入样本图片n

推理代码介绍

推理代码样例：https://gitee.com/mindspore/docs/blob/r1.3/docs/sample_code/ascend910_resnet50_preprocess_sample/main.cc 。

引用mindspore和mindspore::dataset的名字空间。

namespace ms = mindspore;
namespace ds = mindspore::dataset;

环境初始化，指定硬件为Ascend 910，DeviceID为0：

auto context = std::make_shared<ms::Context>();
auto ascend910_info = std::make_shared<ms::Ascend910DeviceInfo>();
ascend910_info->SetDeviceID(0);
context->MutableDeviceInfo().push_back(ascend910_info);

加载模型文件:

// Load MindIR model
ms::Graph graph;
ms::Status ret = ms::Serialization::Load(resnet_file, ms::ModelType::kMindIR, &graph);
// Build model with graph object
ms::Model resnet50;
ret = resnet50.Build(ms::GraphCell(graph), context);

获取模型所需输入信息：

std::vector<ms::MSTensor> model_inputs = resnet50.GetInputs();

加载图片文件:

// Readfile is a function to read images
ms::MSTensor ReadFile(const std::string &file);
auto image = ReadFile(image_file);

图片预处理:

// Create the CPU operator provided by MindData to get the function object

// Decode the input to RGB format
std::shared_ptr<ds::TensorTransform> decode(new ds::vision::Decode());
// Resize the image to the given size
std::shared_ptr<ds::TensorTransform> resize(new ds::vision::Resize({256}));
// Normalize the input
std::shared_ptr<ds::TensorTransform> normalize(new ds::vision::Normalize(
    {0.485 * 255, 0.456 * 255, 0.406 * 255}, {0.229 * 255, 0.224 * 255, 0.225 * 255}));
// Crop the input image at the center
std::shared_ptr<ds::TensorTransform> center_crop(new ds::vision::CenterCrop({224, 224}));
// shape (H, W, C) to shape (C, H, W)
std::shared_ptr<ds::TensorTransform> hwc2chw(new ds::vision::HWC2CHW());

// // Define a MindData preprocessor
ds::Execute preprocessor({decode, resize, normalize, center_crop, hwc2chw});

// Call the function object to get the processed image
ret = preprocessor(image, &image);

执行推理:

// Create outputs vector
std::vector<ms::MSTensor> outputs;
// Create inputs vector
std::vector<ms::MSTensor> inputs;
inputs.emplace_back(model_inputs[0].Name(), model_inputs[0].DataType(), model_inputs[0].Shape(),
                    image.Data().get(), image.DataSize());
// Call the Predict function of Model for inference
ret = resnet50.Predict(inputs, &outputs);

获取推理结果:

// Output the maximum probability to the screen
std::cout << "Image: " << image_file << " infer result: " << GetMax(outputs[0]) << std::endl;

构建脚本介绍

构建脚本用于构建用户程序，样例来自于：https://gitee.com/mindspore/docs/blob/r1.3/docs/sample_code/ascend910_resnet50_preprocess_sample/CMakeLists.txt 。

为编译器添加头文件搜索路径：

option(MINDSPORE_PATH "mindspore install path" "")
include_directories(${MINDSPORE_PATH})
include_directories(${MINDSPORE_PATH}/include)

在MindSpore中查找所需动态库：

find_library(MS_LIB libmindspore.so ${MINDSPORE_PATH}/lib)
file(GLOB_RECURSE MD_LIB ${MINDSPORE_PATH}/_c_dataengine*)

使用指定的源文件生成目标可执行文件，并为目标文件链接MindSpore库：

add_executable(resnet50_sample main.cc)
target_link_libraries(resnet50_sample ${MS_LIB} ${MD_LIB})

编译推理代码

进入工程目录ascend910_resnet50_preprocess_sample，设置如下环境变量：

# control log level. 0-DEBUG, 1-INFO, 2-WARNING, 3-ERROR, default level is WARNING.
export GLOG_v=2

# Conda environmental options
LOCAL_ASCEND=/usr/local/Ascend # the root directory of run package

# lib libraries that the run package depends on
export LD_LIBRARY_PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/fwkacllib/lib64:${LOCAL_ASCEND}/driver/lib64/common:${LOCAL_ASCEND}/driver/lib64/driver:${LOCAL_ASCEND}/ascend-toolkit/latest/opp/op_impl/built-in/ai_core/tbe/op_tiling:${LD_LIBRARY_PATH}

# lib libraries that the mindspore depends on, modify "pip3" according to the actual situation
export LD_LIBRARY_PATH=`pip3 show mindspore-ascend | grep Location | awk '{print $2"/mindspore/lib"}' | xargs realpath`:${LD_LIBRARY_PATH}

# Environment variables that must be configured
export TBE_IMPL_PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/opp/op_impl/built-in/ai_core/tbe            # TBE operator implementation tool path
export ASCEND_OPP_PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/opp                                       # OPP path
export PATH=${LOCAL_ASCEND}/ascend-toolkit/latest/fwkacllib/ccec_compiler/bin/:${PATH}                 # TBE operator compilation tool path
export PYTHONPATH=${TBE_IMPL_PATH}:${PYTHONPATH}                                                       # Python library that TBE implementation depends on

执行cmake命令，其中pip3需要按照实际情况修改：

cmake . -DMINDSPORE_PATH=`pip3 show mindspore-ascend | grep Location | awk '{print $2"/mindspore"}' | xargs realpath`

再执行make命令编译即可。

make

编译完成后，在ascend910_resnet50_preprocess_sample下会生成可执行main文件。

执行推理并查看结果

登录Ascend 910环境，创建model目录放置MindIR文件resnet50_imagenet.mindir，例如/home/HwHiAiUser/mindspore_sample/ascend910_resnet50_preprocess_sample/model。 创建test_data目录放置图片，例如/home/HwHiAiUser/mindspore_sample/ascend910_resnet50_preprocess_sample/test_data。 就可以开始执行推理了:

./resnet50_sample

执行后，会对test_data目录下放置的所有图片进行推理，比如放置了9张ImageNet2012验证集中label为0的图片，可以看到推理结果如下。

Image: ./test_data/ILSVRC2012_val_00002138.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00003014.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00006697.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00007197.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00009111.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00009191.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00009346.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00009379.JPEG infer result: 0
Image: ./test_data/ILSVRC2012_val_00009396.JPEG infer result: 0