分布式训练底层操作的通信原语到底是怎么工作？

AI系统（深度学习系统）之【大模型与分布式训练】系列第五篇（下）！分布式训练底层操作的通信原语到底是怎么工作？ 模型越来越大，就需要对模型进行切分放在不同的机器上，进行分布式并行训练。有分布式不同的机器之间就急需互相通信传输数据，这个时候通信的操作就显得尤为重要。All Reduce、Reduce Scatter等通信原语到底是如何工作？如何辅助跨机器进行通信？