04.分布式训练 4.1 基础知识 1.概述 2.数据并行 3.流水线并行 4.张量并行 5.序列并行 6.多维度混合并行 7.自动并行 8.moe并行 9.总结 4.2 DeepSpeed deepspeed介绍 4.3 Megatron 4.4 训练加速 4.5 一些有用的文章 4.6 一些题目 1.分布式训练题目 2.显存问题 4.7 参考资料： 大模型分布式训练并行技术（九）-总结 - 掘金 (juejin.cn) https://www.zhangzhenhu.com/deepspeed/index.html https://blog.csdn.net/zwqjoy/article/details/130732601 https://techdiylife.github.io/