华为云:第一时间完成DeepSeek-V3.2-Exp模型适配工作
华为云第一时间完成对DeepSeek-V3.2-Exp模型的适配工作,最大可支持160K长序列上下文长度。
目前,该模型已正式上架华为云大模型即服务平台MaaS,为企业及开发者提供模型体验和API服务。
华为云ModelArts推理平台基于CloudMatrix384超节点,为DeepSeek-V3.2-Exp模型提供稳定、高可靠的推理服务。ModelArts推理平台能够根据实际负载需求,按需供给和分配模型推理算力资源,实现资源分时复用与灵活扩缩容。针对DeepSeek-V3.2-Exp模型deepseek,此次仍沿用大EP并行方案部署,基于稀疏Attention结构叠加实现长序列亲和的上下文并行策略,并兼顾模型时延和吞吐性能。原文出处:华为云:第一时间完成DeepSeek-V3.2-Exp模型适配工作,感谢原作者,侵权必删!