当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

2个月前 (02-25)Deepseek最新资讯144

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】财联社2月25日电,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

“DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库” 的相关文章

神州信息引入国产开源大模型DeepSeek

神州信息引入国产开源大模型DeepSeek

36氪获悉,神州信息最新引入国产开源大模型DeepSeek,实现对全栈金融解决方案的智能化迭代升级,通过低成本、高安全的私域环境部署,帮助银行客户快速获得大模型的各项能力,全面加速银行智能化发展。通过...

人工智能体Manus一夜火出圈,公司回应质疑:只是分享阶段性收获

人工智能体Manus一夜火出圈,公司回应质疑:只是分享阶段性收获

如果说2025年的这个春天,最被关注的话题是什么?那一定是人工智能。继火遍全球的国产AI大模型DeepSeek之后,3月6日凌晨,又一匹AI黑马杀出,一个名为“Manus”的产品引起刷屏效应。04:1...

亚马逊云科技宣布提供完全托管的DeepSeek-R1模型

亚马逊云科技宣布提供完全托管的DeepSeek-R1模型

亚马逊云科技今日宣布,DeepSeek-R1现已作为完全托管的无服务器大语言模型(LLM)在Amazon Bedrock上正式可用, 这也是首个将该模型作为完全托管服务推出的云服务提供商。亚马逊云科技...

AI培训赋能加力!甘肃3000余名公共法律服务工作者接受人工智能专题培训

AI培训赋能加力!甘肃3000余名公共法律服务工作者接受人工智能专题培训

法律服务遇上“大数据”“硬科技”怎么办?3月22日,甘肃省司法厅举办人工智能(Deepseek)助力全省公共法律服务发展专题培训会,积极适应人工智能时代发展新要求,切实提升人工智能(Deepseek)...

DeepSeek激发信心,A股渐入佳境

DeepSeek激发信心,A股渐入佳境

本周A股进一步走强,上证综指全周累计上涨1.30%至3346.72点;深综指、创业板综指、科创50、北证50全周分别上涨1.86%、2.57%、0.36%、3.84%。DeepSeek的技术突破提振了...

山东多地政务系统接入DeepSeek,“AI公务员”靠谱吗?

山东多地政务系统接入DeepSeek,“AI公务员”靠谱吗?

DeepSeek朋友圈正持续“扩容”。最近,越来越多政府部门官宣接入DeepSeek。拿山东来说,临沂、烟台、滨州以及济南市中区等地相继宣布政务系统接入DeepSeek。政务服务作为与民众生活息息相关...