CPU上推理
CPU
推理应用
使用ONNX格式文件推理
与在GPU上进行推理类似,需要以下几个步骤:
在训练平台上生成ONNX格式模型,具体步骤请参考导出ONNX格式文件。
在CPU上进行推理,具体可以参考推理使用runtime/SDK的文档。如使用ONNX Runtime,可以参考ONNX Runtime说明文档。
CPU
推理应用
与在GPU上进行推理类似,需要以下几个步骤:
在训练平台上生成ONNX格式模型,具体步骤请参考导出ONNX格式文件。
在CPU上进行推理,具体可以参考推理使用runtime/SDK的文档。如使用ONNX Runtime,可以参考ONNX Runtime说明文档。