第一上海:腾讯发布星脉网络2.0 AI大模型训练效率提升20%

<{$news["createtime"]|date_format:"%Y-%m-%d %H:%M"}>  智通财经网 1.2w阅读 2024-07-03 16:54

第一上海发布研究报告称,7月1日,腾讯(00700)宣布对其自主研发的星脉高性能计算网络进行了全面升级。升级版星脉网络2.0配备了腾讯自主研发的网络设备和AI算力网卡,能够支持超过10万卡的大规模网络构建。与前一代相比,新网络的通信效率提高了60%,进而使得大型模型的训练效率提升20%。

报告中称,腾讯自研星脉网络是一套软硬协同的高性能网络体系,包括自研网络设备、通信协议TITA、通信库TCCL以及GOM&GOA运营系统四大关键组件,每个组件均采用了业界首创的腾讯核心技术。TITA 2.0升级为主动拥塞控制算法,可主动调整数据包发送速率,从而避免网络拥堵;并通过拥堵智能调度,实现网络拥塞快速自愈。TCCL通信库,对NVLINK+NET异构并行通信、Auto-Tune Network Expert自适应算法等进行升级。两者升级带来的效果叠加,让星脉网络的通信效率提升60%,MoE大模型训练效率提升20%。

来源:智通财经网

相关标签:

智通财经

重要提示:本文仅代表作者个人观点,并不代表乐居财经立场。 本文著作权,归乐居财经所有。未经允许,任何单位或个人不得在任何公开传播平台上使用本文内容;经允许进行转载或引用时,请注明来源。联系请发邮件至ljcj@leju.com,或点击【联系客服

网友评论