DeepSeek开源周第二天,开源 EP通信库DeepEP
发布时间:2025-02-25 10:40 作者:清风不语
【DeepSeek开源周第二天,开源 EP通信库DeepEP】八六软件园报道,DeepSeek开源周第二天,很高兴介绍 DeepEP - 第一个用于 MoE 模型训练和推理的开源 EP 通信库。
高效且优化的全对全通信
通过 NVLink 和 RDMA 支持节点内和节点间
用于训练和推理预填充的高吞吐量内核
用于推理解码的低延迟内核
原生 FP8 调度支持
灵活的 GPU 资源控制,用于计算通信重叠
本分分类: 7*24快讯
版权声明:本文由八六软件园用户发布,不代表八六软件园立场,转载联系作者并注明出处:https://www.86zsw.com/post/22100.html