从SISD到SIMD的并行处理硬件架构！分析AI框架的分布式训练能力！

从串行SISD到SIMD的并行处理硬件架构！分析AI框架的分布式训练能力！ 【大模型与分布式训练】系列第三篇！这一期内容主要从串行处理的硬件架构SISD，发展到并行处理的三种硬件架构SIMD、MISD、MIMD到GPU常用的SIMT硬件架构，了解分布式并行的单机硬件模式。接着来看看主流AI框架（TensorFlow、PyTorch、MindSpore）中的分布式并行的能力。