mksz709-从0到1训练私有大模型 ，企业急迫需求，抢占市场先...

第1章 课程介绍
5 节｜62分钟
[url=]展开 [/url]


第2章 训练模型与开发平台环境
5 节｜30分钟
[url=]收起 [/url]

• 视频：
  2-1 【认知】为什么要引入paddle？平时使用torch，学习paddle貌似没用怎么办？
  
  04:06
  
  
• 视频：
  2-2 【框架】paddle和torch与tensorflow对比
  
  07:14
  
  
• 视频：
  2-3 【NLP工具和预训练模型】paddleNLP和huggingface
  
  03:23
  
  
• 视频：
  2-4 【平台】介绍aistudio
  
  07:53
  
  
• 视频：
  2-5 【工具】介绍基于gpt4的IDE cursor
  
  06:51
  
  
  

第3章 chatGPT初始技术词向量原理剖析与实战
12 节｜176分钟
[url=]收起 [/url]

• 视频：
  3-1 【认知】词向量，词向量与gpt的关系
  
  05:22
  
  
• 视频：
  3-2 【语言模型】语言模型和评估指标PPL
  
  13:28
  
  
• 视频：
  3-3 【词向量模型】word2vec-cbow和skipgram
  
  08:15
  
  
• 视频：
  3-4 【softmax加速】是softmax 树型优化
  
  14:46
  
  
• 视频：
  3-5 【softmax加速】softmax负采样优化
  
  13:49
  
  
• 视频：
  3-6 【数据准备与预处理】word2vec实战（1）
  
  24:53
  
  
• 视频：
  3-7 【数据准备与预处理】word2vec实战（2）
  
  18:49
  
  
• 视频：
  3-8 【模型训练】word2vec实战-模型开发和训练（1）
  
  15:17
  
  
• 视频：
  3-9 【模型训练】word2vec实战-模型开发和训练（2）
  
  14:33
  
  
• 视频：
  3-10 【激活函数】常见七种激活函数对比
  
  15:29
  
  
• 视频：
  3-11 【预训练语言模型】RNN-LSTM-ELMO
  
  25:49
  
  
• 视频：
  3-12 本章梳理小结
  
  05:06
  
  
  

第4章 chatGPT基石模型——基于Transformer架构的语言模型
11 节｜117分钟
[url=]收起 [/url]

• 视频：
  4-1 本章介绍
  
  01:32
  
  
• 视频：
  4-2 seq2seq结构和注意力
  
  15:23
  
  
• 视频：
  4-3 seq2seq-attention的一个案例
  
  07:37
  
  
• 视频：
  4-4 transformer的multi-head attention 多头注意力机制
  
  23:07
  
  
• 视频：
  4-5 transformer的残差链接-解决梯度消失问题
  
  07:43
  
  
• 视频：
  4-6 transformer的layernorm-归一化提升训练稳定性
  
  07:21
  
  
• 视频：
  4-7 transformer的decoder 解码器
  
  09:11
  
  
• 视频：
  4-8 sparse-transformer 稀疏模型
  
  08:31
  
  
• 视频：
  4-9 transformer-xl 解决长序列的问题（1）
  
  14:34
  
  
• 视频：
  4-10 transformer-xl解决长序列的问题（2）
  
  16:10
  
  
• 视频：
  4-11 本章梳理总结
  
  04:52
  
  
  

第5章 基于Transformer另一分支Bert系列分析与实战
16 节｜211分钟
[url=]收起 [/url]

• 视频：
  5-1 本章介绍
  
  01:14
  
  
• 视频：
  5-2 metric-评估指标(BLUE-rouge-L-METOER-NIST)
  
  22:49
  
  
• 视频：
  5-3 常见 subword 算法（BPE-wordpiece）
  
  07:00
  
  
• 视频：
  5-4 常见的NLP任务
  
  06:38
  
  
• 视频：
  5-5 bert 预训练模型
  
  25:29
  
  
• 视频：
  5-6 bert情感分析实战----paddle（1）
  
  17:22
  
  
• 视频：
  5-7 bert情感分析实战----paddle（2）
  
  18:48
  
  
• 视频：
  5-8 evaluate和predict方法----paddle
  
  10:49
  
  
• 视频：
  5-9 bert(transformer encoder)主要源码分析----paddle（1）
  
  14:12
  
  
• 视频：
  5-10 bert(transformer encoder)主要源码分析----paddle（2）
  
  12:31
  
  
• 视频：
  5-11 bert(transformer encoder)的完整源码cache部分分析----paddle
  
  15:21
  
  
• 视频：
  5-12 Ernie文心一言基础模型（1）
  
  14:35
  
  
• 视频：
  5-13 Ernie文心一言基础模型（2）
  
  06:27
  
  
• 视频：
  5-14 plato百度对话模型（1）
  
  14:56
  
  
• 视频：
  5-15 plato 百度对话模型（2）
  
  14:13
  
  
• 视频：
  5-16 本章总结
  
  07:51
  
  
  

第6章 chatGPT的核心技术——强化学习
18 节｜275分钟
[url=]收起 [/url]

• 视频：
  6-1 RL是什么＆为什么要学习RL
  
  14:11
  
  
• 视频：
  6-2 强化学习章介绍
  
  02:53
  
  
• 视频：
  6-3 RL基础概念
  
  07:06
  
  
• 视频：
  6-4 RL马尔可夫过程
  
  17:39
  
  
• 视频：
  6-5 RL三种方法（1）
  
  16:40
  
  
• 视频：
  6-6 RL三种方法（2）
  
  06:07
  
  
• 视频：
  6-7 DQN和DQN的2种改进算法（1）
  
  13:46
  
  
• 视频：
  6-8 DQN和DQN的2种改进算法（2）
  
  16:21
  
  
• 视频：
  6-9 actor-critic（1）
  
  24:54
  
  
• 视频：
  6-10 actor-critic（2）
  
  08:14
  
  
• 视频：
  6-11 TRPO+PPO（1）
  
  23:23
  
  
• 视频：
  6-12 TRPO+PPO（2）
  
  18:28
  
  
• 视频：
  6-13 DQN代码实践--torch-1
  
  20:28
  
  
• 视频：
  6-14 DQN代码实践--torch-2
  
  19:05
  
  
• 视频：
  6-15 DoubleDQN+DuelingDQ代码--torch
  
  11:49
  
  
• 视频：
  6-16 REINFORCE代码--torch
  
  20:18
  
  
• 视频：
  6-17 PPO代码实践--torch
  
  23:03
  
  
• 视频：
  6-18 强化学习-本章总结
  
  10:24
  
  
  

第7章 chatGPT技术演变——从GPT 1 开始的大模型发展与演化
11 节｜159分钟
[url=]收起 [/url]

• 视频：
  7-1 GPT1 模型
  
  14:46
  
  
• 视频：
  7-2 GPT2 模型
  
  14:00
  
  
• 视频：
  7-3 GPT3 模型-1
  
  15:55
  
  
• 视频：
  7-4 GPT3 模型-2
  
  12:06
  
  
• 视频：
  7-5 gpt-codex 基于GPT技术开发的模型
  
  12:58
  
  
• 视频：
  7-6 alphaCode基于GPT技术开发的模型-1
  
  16:13
  
  
• 视频：
  7-7 alphaCode基于GPT技术开发的模型-2
  
  09:57
  
  
• 视频：
  7-8 instruct-gpt 基于GPT技术开发的模型-1
  
  13:44
  
  
• 视频：
  7-9 instruct-gpt 基于GPT技术开发的模型-2
  
  16:43
  
  
• 视频：
  7-10 Antropic LLM大型语言模型
  
  24:41
  
  
• 视频：
  7-11 GPT-本章总结
  
  07:21
  
  
  

第8章 RLHF训练类ChatGPT模型代码实战
19 节｜311分钟
[url=]收起 [/url]

• 视频：
  8-1 chatGPT训练实战
  
  08:52
  
  
• 视频：
  8-2 SFT有监督的训练-数据处理
  
  22:06
  
  
• 视频：
  8-3 SFT有监督训练-trainer
  
  18:19
  
  
• 视频：
  8-4 SFT有监督训练-train
  
  22:08
  
  
• 视频：
  8-5 RM训练-model+dataset（1）
  
  16:33
  
  
• 视频：
  8-6 RM训练-model+dataset（2）
  
  14:51
  
  
• 视频：
  8-7 RM训练-trainer
  
  13:48
  
  
• 视频：
  8-8 RM训练-train-rm
  
  11:43
  
  
• 视频：
  8-9 RLHF强化学习人类反馈的训练-dataset
  
  07:50
  
  
• 视频：
  8-10 RLHF强化学习人类反馈的训练-model-base
  
  12:17
  
  
• 视频：
  8-11 RLHF强化学习人类反馈的训练-model-opt
  
  08:11
  
  
• 视频：
  8-12 RLHF强化学习人类反馈的训练-generation（1）
  
  16:53
  
  
• 视频：
  8-13 RLHF强化学习人类反馈的训练-generation（2）
  
  16:22
  
  
• 视频：
  8-14 RLHF强化学习人类反馈的训练-exp_maker（1）
  
  15:14
  
  
• 视频：
  8-15 RLHF强化学习人类反馈的训练-exp_maker（2）
  
  17:18
  
  
• 视频：
  8-16 RLHF强化学习人类反馈的训练-buffer-utils
  
  28:18
  
  
• 视频：
  8-17 RLHF强化学习人类反馈的训练-buffer-loss
  
  18:08
  
  
• 视频：
  8-18 RLHF强化学习人类反馈的训练-trainer
  
  22:03
  
  
• 视频：
  8-19 RLHF强化学习人类反馈的训练-main
  
  19:30
  
  
  

第9章 低成本微调大模型方法PEFT(LoRA等) — 训练 "ChatGLM2" 项目
16 节｜240分钟
[url=]收起 [/url]

• 视频：
  9-1 参数高效微调方法 peft-bitfit
  
  23:14
  
  
• 视频：
  9-2 参数高效微调方法 prefix-t
  
  11:55
  
  
• 视频：
  9-3 参数高效微调方法 prompt-t
  
  10:09
  
  
• 视频：
  9-4 参数高效微调方法 p-tuning
  
  10:38
  
  
• 视频：
  9-5 参数高效微调方法 p-tuningv2
  
  09:36
  
  
• 视频：
  9-6 参数高效微调方法 lora
  
  05:13
  
  
• 视频：
  9-7 高效调参方案实现 prompt_tuning-1
  
  18:25
  
  
• 视频：
  9-8 高效调参方案实现 prompt_tuning-2
  
  10:12
  
  
• 视频：
  9-9 高效调参方案实现 p-tuning
  
  13:41
  
  
• 视频：
  9-10 高效调参方案实现 prefix-tuning
  
  19:42
  
  
• 视频：
  9-11 高效调参方案实现 lora-01
  
  17:51
  
  
• 视频：
  9-12 高效调参方案实现 lora-02
  
  17:40
  
  
• 视频：
  9-13 高效调参方案实现 lora-03
  
  11:00
  
  
• 视频：
  9-14 AdaLora微调ChatGLM2 实战 -1
  
  21:21
  
  
• 视频：
  9-15 AdaLora微调ChatGLM2 实战 -2
  
  23:55
  
  
• 视频：
  9-16 PEFT-本章总结
  
  15:05
  
  
  

第10章 langchain+训练大模型ChatGLM2 构建“知识库问答”
5 节｜75分钟
[url=]收起 [/url]

• 视频：
  10-1 基于langchain的应用
  
  12:43
  
  
• 视频：
  10-2 langchain初探与实战
  
  25:31
  
  
• 视频：
  10-3 langchain实现 mini-QA
  
  14:59
  
  
• 视频：
  10-4 工业场景知识库LLM助手的设计
  
  13:11
  
  
• 视频：
  10-5 langchain和知识增强LLM总结
  
  08:30
  
  
  

第11章 课程总结
2 节｜33分钟
[url=]收起 [/url]

• 视频：
  11-1 课程总结（1）
  
  17:48
  
  
• 视频：
  11-2 课程总结（2）
  
  15:01