Megatron LM

产品特色高效训练大规模语言模型模型并行和数据并行支持支持 GPT、BERT 和 T5 等 Transformer 模型