MindSpore
MindSpore推理
MindSpore大语言模型推理
大语言模型权重获取和准备
从零构建大语言模型推理网络
构建可并行的大语言模型网络
多卡模型权重切分
模型导出
模型量化
模型性能Profiler
自定义算子
MindSpore Lite推理
Lite推理概述
MindSpore
»
模型推理
查看页面源码
模型推理
MindSpore推理
提供近乎“开箱即用”的大语言模型部署和推理能力,根据模型特点实现最优性价比。
MindSpore Lite推理
专注于离线模型的高效推理部署方案和端上设备的高性能推理的轻量化推理引擎。