在网络方面,百舸AI计算平台5.0实现了更快的通信速度和更低的延迟,显著提升了模型的训练和推理效率。
在算力方面,继今年4月Create2025百度AI开发者大会发布昆仑芯超节点后,升级后的百舸AI计算平台5.0正式在百度智能云的公有云服务中上线,为用户提供了超级算力。沈抖表示,目前业界最大的开源模型参数已达到万亿级别,但借助昆仑芯超节点,用户只需几分钟和一个云实例,就能轻松运行这一庞大模型。
在推理系统上,新版本通过“解耦”“自适应”和“智能调度”三大核心策略,大幅提高了吞吐量并降低了延迟。此外,在训推一体方面,百度还发布了百舸强化学习框架,能够极致地压榨算力资源,从而显著提升训练和推理的效率。