02.大语言模型架构 2.1 Transformer模型 1.attention 2.layer_normalization 3.位置编码 4.tokenize分词 5.token及模型参数 6.激活函数 2.2 注意力 MHA_MQA_GQA 2.3 解码部分 解码策略（Top-k & Top-p & Temperature） 2.4 BERT bert细节 Transformer架构细节 bert变种 2.5 常见大模型 llama系列模型 chatglm系列模型 llama 2代码详解 llama 3 2.6 MoE 1.MoE论文 2.MoE经典论文简牍 3.LLM MoE ：Switch Transformers