1.概述

本文主要介绍了MindFormers的设计和特性，以及并行特性，最后介绍了LLM预训练和在线推理流程。

2. 目标

3. MindFormers概述

4. MindFormers设计整体介绍

5. MindFormers特性整体介绍

5.1 LLM数据集在线加载

5.2 断点续训

5.3 边训练边评估

5.4 训练优化算法

5.5 离线权重转换

5.6 自动权重转换

5.7 Text Generator

5.8 低参微调

5.9 Chat Web

5.10 Inference

5.11 Lazy Inline

6. 模型调试调优

6.1 精度调优

6.2 性能调优

7. 大模型并行特性

7.1 多维混合并行

数据并行

模型并行

优化器并行

Pipeline并行

多副本并行

7.2 多级存储优化

整图内存复用

重计算

8. 最佳实践

8.1 LLM预训练

8.2 在线推理和文本生成

在线分布式推理

9. 总结

本文主要介绍了MindFormers的设计和特性，以及并行特性，最后介绍了LLM预训练和在线推理流程，笔试占比10%。