使用场景
在大规模语言模型训练中应用零泡泡管道并行
优化计算机视觉模型的训练过程，提高训练效率
加速自然语言处理模型的训练，缩短训练时间
产品特色
成功实现在同步训练语义下零管道泡沫
手工设计新颖的管道调度
开发算法自动找到最佳调度
引入新颖技术绕过同步以实现零泡泡
实验评估表明方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%
-
Zero Bubble Pipeline Parallelism
类别：AI模型推理训练,AI模型,分布式训练,管道并行,调度策略,普通产品,开源, -
