当前位置:首页 > Deepseek应用场景 > 正文内容

DeepSeek致谢腾讯大模型网络提速技术方案贡献,助力大模型通信性能提升30%

6小时前Deepseek应用场景14

5月7日,科技领域迎来一则备受瞩目的消息:腾讯技术团队针对DeepSeek开源的DeepEP通信框架展开了深度且细致的优化工作,经过不懈努力,成功让该框架在多种复杂多变的网络环境下均实现了显著的性能提升。

为了验证优化成果,团队进行了全面且严格的测试。测试结果显示,优化后的DeepEP通信框架在RoCE网络环境下的性能提升幅度高达100%,在IB网络环境下的性能也提升了30%。这一卓越的表现,无疑为企业开展AI大模型训练提供了更为高效的解决方案,能够大大缩短训练时间,降低训练成本,推动AI技术更快发展。值得一提的是,腾讯技术团队的相关技术方案获得了DeepSeek的公开致谢,DeepSeek称赞这是一次“huge speedup”(巨大加速)的代码贡献,充分肯定了腾讯团队在技术优化方面的卓越成就。

时间回溯到今年2月,DeepSeek开源了包括DeepEP在内的五大代码库,这一举措向业界展示了如何利用有限的硬件资源实现接近万卡集群的性能,为众多企业和科研机构提供了新的思路和方向。在这些技术中,DeepEP凭借其突破性的方法,将通信效率提升了300%,成功解决了MoE架构大模型对英伟达NCCL的依赖问题,使得大模型训练在硬件选择上更加灵活多样。

然而,任何技术都不是完美无缺的。DeepEP在成本较低、适用面更广的RoCE网络环境中表现不佳,这一痛点严重限制了其在更广泛场景的应用。例如,在一些对成本较为敏感的企业或项目中,由于RoCE网络环境下的性能问题,无法充分发挥DeepEP的优势,这引发了开源社区的持续讨论。众多开发者和技术爱好者纷纷提出自己的看法和建议,希望找到解决这一难题的方法。

腾讯星脉网络团队凭借在RoCE网络领域的深厚积累,在DeepEP开源后便迅速展开技术攻关。经过深入研究和大量实验,团队发现了两大关键瓶颈:一是对于双端口网卡带宽利用率不足,大量的带宽资源被闲置,导致数据传输速度缓慢;二是CPU控制面交互存在时延,影响了整体通信效率。

腾讯在RoCE网络优化方面的突破首先体现在带宽分配的智能化上。通过拓扑感知的多QP建链技术,团队能够智能分配数据流,根据网络拓扑结构和数据传输需求,精准地将数据分配到不同的数据通道上,从而优化了双端口网卡的带宽利用率,确保每条数据通道都能得到充分使用。这一举措有效避免了带宽浪费,为RoCE网络的性能提升提供了有力支撑,使得数据在网络中能够更加流畅地传输。

其次,腾讯还着力解决了GPU通信中的CPU控制瓶颈问题。通过基于IBGDA技术的优化,腾讯实现了“控制面”场景的操作绕过CPU的“中转”。在传统的通信模式中,GPU之间的通信需要经过CPU的调度和处理,这不仅增加了延迟,还消耗了大量的能耗。而经过优化后,GPU可以直接进行通信,进一步降低了延迟和能耗,提升了整体通信效率,让大模型训练过程中的数据交互更加高效。

同时,针对GPU直接“对话”时存在的传输顺序混乱难题,腾讯提出了“QP内时序锁”机制。这一机制就像是一个精准的指挥官,能够确保多个GPU间的数据传输能够精准、按顺序完成。即使同时处理1000多个数据传输任务,DeepEP也能自动理顺先后顺序,避免了数据传输的混乱和错误,保证了训练过程的稳定性和准确性。

在腾讯的技术优化下,DeepEP不仅在RoCE网络实现性能翻倍,反哺到IB(InfiniBand)网络时更使原有通信效率再提升30%。目前,该技术已全面开源,众多开发者和企业可以免费获取并使用这一先进技术。同时,该技术已成功应用于腾讯混元大模型等项目的训练推理中,在实际应用中展现出了卓越的性能。在腾讯星脉与H20服务器构建的高性能环境中,这套方案同样展现出卓越的通用性,能够适应不同的硬件配置和应用场景,为AI技术的发展注入了新的动力。


“DeepSeek致谢腾讯大模型网络提速技术方案贡献,助力大模型通信性能提升30%” 的相关文章

天亿马:下属公司翼启AI政务管家已接入DeepSeek

天亿马:下属公司翼启AI政务管家已接入DeepSeek

金融界3月14日消息,有投资者在互动平台向天亿马提问:公司在大语言模型方面已接入百度,阿里等通用大模型进行测试与研发,请问是否也包括最近很火的deepseek?公司回答表示:公司下属公司“广东翼启”开...

DeepSeek全攻略:入门到精通附讲解视频本地电脑部署教程

DeepSeek全攻略:入门到精通附讲解视频本地电脑部署教程

【好课推荐】DeepSeek全攻略:入门到精通附讲解视频本地电脑部署教程 在当今数字化时代,人工智能技术飞速发展,深度学习更是成为了热门领域。DeepSeek作为一款强大的工具,为深度学习爱...

定向优化教育场景,豆神教育接入DeepSeek-R1模型

定向优化教育场景,豆神教育接入DeepSeek-R1模型

开年以来,不但中国AI企业深度求索的开源大模型DeepSeek迎来了热情高涨的全民参与,越来越多的教育机构也“跃跃欲试”,争相拥抱DeepSeek来推动教育升级,比如豆神教育就在前不久正式接入了采用M...

DeepSeek怎么用?deepseek网页版、微信小程序、APP使用指南

DeepSeek怎么用?deepseek网页版、微信小程序、APP使用指南

人工智能DeepSeek是由杭州深度求索公司研发的大型AI模型,有DeepSeek-v3 和R1两种型号。就像一个知识渊博的万事通,凭借强大的功能和出色的表现,可以说是火遍全球。它有超强的逻辑推理和复...

无需部署,即刻体验!天翼AI云电脑轻松玩转DeepSeek

无需部署,即刻体验!天翼AI云电脑轻松玩转DeepSeek

AI正以比较罕见的速度渗透到各行各业,成为推动社会进步和经济增长的重要引擎。面对当下爆火的国产AI新星DeepSeek热潮,天翼云率先发力,将天翼AI云电脑全面接入DeepSeek,为用户提供开箱即用...

DeepSeek谈艺 | 笔底山河:论梁益君风景油画的精神建构

DeepSeek谈艺 | 笔底山河:论梁益君风景油画的精神建构

新春以来,DeepSeek成为各个行业所聚焦的热点话题。这个融合了人工智能与大数据分析的前沿平台,正逐步揭开其神秘面纱,展现出对各行各业颠覆性的潜力。随着DeepSeek技术的不断成熟与普及,我们正站...