NCCL+PyTorch源码阅读（三）：集合通讯

发表于2026-05-22|更新于2026-05-19|网络

|阅读量:

前言：本文是对知乎@张宇杭系列文章的补充，只对核心逻辑进行拆解。阅读后可继续通过知乎@张宇杭的 NCCL 源码阅读补充更多知识。

TODO

文章作者: I_Am_Danny

文章链接: http://blog.iamdanny.online/2026/05/22/%E7%BD%91%E7%BB%9C/NCCL3/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 IAD's Blog！

相关推荐

NCCL+PyTorch源码阅读（二）：NCCL通信协议

NCCL+PyTorch源码阅读（一）：通信组的建立

Filters & Sketches

RDMA：通信抽象、数据通路与 RoCEv2 拥塞控制

网络组实习感想（AI4Sys_端到端拥塞控制）