编程形态
数据加载与处理
模型构建
训练流程
分布式并行
自定义高阶编程
训练高可用
模型调试
模型调优
模型库
半自动并行支持多种并行模式的自动混合使用,包括:
算子级并行:算子级并行是指以算子为单位,把输入张量和模型参数切分到多台设备上进行计算,提升整体速度。
高阶算子级并行:高阶算子级并行是指允许自定义设备排布与张量排布的算子级并行,以实现更复杂的切分逻辑。
优化器并行:优化器并行可以减少多台设备对于相同权重更新的冗余计算,将计算量分散到多个设备上。
流水线并行:流水线并行是指将模型按层切分,每个设备只处理模型中某一部分。