同时,GPU直接“对话”时存在的传输顺序混乱难题,腾讯提出了“QP内时序锁”机制,使得多个GPU间的数据传输能够精准、按顺序完成,即使同时处理1000多个数据传输任务,DeepEP也能自动理顺先后顺序。
在腾讯的技术优化下,DeepEP不仅在RoCE网络实现性能翻倍,反哺到IB(InfiniBand)网络时更使原有通信效率再提升30%。
目前该技术已全面开源,并成功应用于腾讯混元大模型等项目的训练推理,在腾讯星脉与H20服务器构建的高性能环境中,这套方案同样展现出卓越的通用性。
页码:上一页
同时,GPU直接“对话”时存在的传输顺序混乱难题,腾讯提出了“QP内时序锁”机制,使得多个GPU间的数据传输能够精准、按顺序完成,即使同时处理1000多个数据传输任务,DeepEP也能自动理顺先后顺序。
在腾讯的技术优化下,DeepEP不仅在RoCE网络实现性能翻倍,反哺到IB(InfiniBand)网络时更使原有通信效率再提升30%。
目前该技术已全面开源,并成功应用于腾讯混元大模型等项目的训练推理,在腾讯星脉与H20服务器构建的高性能环境中,这套方案同样展现出卓越的通用性。