【摘要】本文来自博客园，作者：T-BARBARIANS 原创，博文严禁转载，转载必究！ 本篇内容将从 NCCL（NVIDIA Collective Communications Library） 源码的角度尽量深入剖析 NCCL 初始化的一些关键业务流程。文章内容很长，换言之：信息量很大，一时半会真的说不清 阅读全文