半自动并行

查看源文件

半自动并行支持多种并行模式的自动混合使用,包括:

  • 算子级并行:算子级并行是指以算子为单位,把输入张量和模型参数切分到多台设备上进行计算,提升整体速度。

  • 高阶算子级并行:高阶算子级并行是指允许自定义设备排布与张量排布的算子级并行,以实现更复杂的切分逻辑。

  • 优化器并行:优化器并行可以减少多台设备对于相同权重更新的冗余计算,将计算量分散到多个设备上。

  • 流水线并行:流水线并行是指将模型按层切分,每个设备只处理模型中某一部分。