源码下载
第1 章 走进大语言模型 … … 1
1 .1 从生活场景认识大语言模型 2
1 .1 .1 生活中的大语言模型… … … … … … … 2
1 .1 .2 大语言模型与传统软件的区别… … … 4
1 .1 .3 大语言模型如何改变我们的生活… … 5
1 .2 大语言模型技术发展简史 … 7
1 .2.1 早期语言模型(2017 年以前) … … … 8
1 .2.2 革命性突破: Transformer 架构(2017 年) … … … … … 8
1 .2.3 预训练模型和对齐技术的兴起(2018—2022 年) … … 8
1 .2.4 多模态模型(2023 年至今) … … … … 9
1 .2.5 国产大模型的崛起(DeepSeek-R1) 10
1 .2.6 Grok 3 的发布 … … 10
1 .2.7 新一代大模型架构: Mamba 架构 … 11
1 .3 大语言模型的特征与功能… 11
1 .3 .1 大语言模型的主要特征 … … … … … 11
1 .3 .2 大语言模型的核心功能 … … … … … 12
1 .3 .3 大语言模型的技术挑战和未来发展方向 … … … … … 13
小结 … … … … … 13
习题1 … … … … 15
第2 章 大语言模型的核心原理 … … … … … 16
2.1 大语言模型的基础: Transformer 架构 … … 17
2.1 .1 Transformer 架构概述 … … … … … 17
2.1 .2 自注意力机制 … … 17
2.1 .3 编码器与解码器的概念 … … … … … 18
2.2 编码器与解码器的演化… … 18
2.2.1 Encoder-Only 技术 18Ⅵ
2.2.2 Decoder-Only 技术 20
2.2.3 Encoder-Only 与 Decoder-Only 对比分析 … … … … 22
2.2.4 混合架构的兴起 22
2.3 大语言模型的提示词工程… 22
2.3 .1 什么是提示词工程 23
2.3 .2 提示词工程的核心技巧 … … … … … 23
2.4 实验: 提示词进阶 … … … … 25
小结 … … … … … 26
习题2 … … … … 28
第3 章 数据集预处理 … … … 29
3 .1 数据集预处理概述… … … … 30
3 .1 .1 数据集预处理的重要性 … … … … … 30
3 .1 .2 预处理流程全景图 32
3 .1 .3 数据质量与大模型性能的关联 … … 32
3 .2 数据集类型与来源… … … … 34
3 .2.1 通用数据 … … … … 34
3 .2.2 专业数据 … … … … 35
3 .3 数据格式介绍… … … … … … 36
3 .3 .1 问答格式(QA Pairs) … … … … … … 37
3 .3 .2 对话格式(Conversational Format) 37
3 .3 .3 指令微调格式(LLaMa-Factory/Alpaca) … … … … … 37
3 .3 .4 通用结构化格式(JSON/JSONL) … 37
3 .3 .5 纯文本格式(TXT) 38
3 .4 数据集预处理技术… … … … 38
3 .5 数据合规性要求… … … … … 40
3 .6 实验: 对话格式数据集构建应用 … … … … … 40
小结 … … … … … 43
习题3 … … … … 46
第4 章 大语言模型微调与优化 … … … … … 47
4.1 为什么需要微调… … … … … 48
4.1 .1 目标与意义 … … … 48
4.1 .2 微调的基本流程 … 49
4.2 微调的两种方式… … … … … 49
4.2.1 全参微调 … … … … 49
4.2.2 高效微调 … … … … 50
4.2.3 两种微调方式对比 50
4.3 微调工具的介绍… … … … … 52Ⅶ
4.3 .1 LLaMa-Factory 简介 … … … … … … 52
4.3 .2 DeepSeed 简介 … … 52
4.3 .3 Hugging Face Transformers 简介… 52
4.3 .4 3 种工具对比 … … 52
4.4 动手实践一个微调模型… … 53
4.4.1 LLaMa-Factory 环境配置 … … … … 53
4.4.2 数据准备 … … … … 56
4.4.3 LLaMa-Factory 实现全参数微调 … 59
4.5 实验… … … 61
实验4-1 LLaMa-Factory 实现 LoRA 微调 61
实验4-2 LLaMa-Factory 实现 Adapter 微调 … … … … … … 63
小结 … … … … … 65
习题4 … … … … 66
第5 章 RAG 技术 … … … … … 67
5 .1 RAG 技术概述 … … … … … 68
5 .1 .1 RAG 定义与实用价值… … … … … … 68
5 .1 .2 RAG 技术发展历程… … … … … … … 69
5 .1 .3 RAG 应用场景… … 70
5 .2 RAG 系统核心架构 … … … 73
5 .2.1 RAG 系统三大核心组件… … … … … 73
5 .2.2 RAG 系统工作流程… … … … … … … 75
5 .3 RAG 关键技术解析 … … … 77
5 .3 .1 文本向量化 … … … 77
5 .3 .2 检索优化策略: 混合检索(BM25 + 向量) … … … … … 79
5 .3 .3 生成器优化技巧: 提示词工程与上下文融合 … … … 80
5 .4 项目举例: 医学领域 RAG 系统的实现 … … 81
5 .5 实验: 基于 LangChain 的医学领域 RAG 系统实现 … … … … 84
小结 … … … … … 89
习题5 … … … … 92
第6 章 智能体技术入门 … 93
6 .1 智能体的基本原理… … … … 94
6 .1 .1 智能体的定义与功能 … … … … … … 94
6 .1 .2 智能体的技术框架 96
6 .1 .3 智能体的工作流程 97
6 .1 .4 智能体的应用 … … 99
6 .2 基于平台快速构建智能体 100
6 .2.1 国内外著名的智能体开发平台… … 100Ⅷ
6 .2.2 扣子平台 Cozen 的快速构建 Agent 智能体 … … … 101
6 .2.3 利用扣子平台搭建智能体工作流… 105
6 .3 实验: 利用扣子平台搭建校园导览助手 … 106
小结… … … … … 116
习题6 … … … … 118
第7 章 AI 编程工具与大语言模型 … … … 119
7.1 常见 AI 编程工具简介 … 120
7.1 .1 扣子简介… … … … 120
7.1 .2 AI 速搭简介 … … 120
7.1 .3 通义灵码简介… … 120
7.1 .4 LangFlow 简介 … 120
7.1 .5 Cline 简介 … … … 121
7.1 .6 Trae 简介 … … … 121
7.1 .7 Cursor 简介 … … 121
7.2 主要 AI 编程工具对比 … 121
7.3 AI 编程工具实践 … … … … 122
7.3 .1 用 Cline 实现一个停车场管理系统的前端开发 … … 122
7.3 .2 用 Trae 复现一个经典的机器学习算法并进行训练、 评估 … … … … 127
7.4 实验: 搭建仓储管理系统的前端界面 … … 137
小结… … … … … 141
习题7 … … … … 142
第8 章 多模态大语言模型 143
8.1 多模态的概念 … … … … … 144
8.1 .1 什么是多模态大语言模型… … … … 144
8.1 .2 多模态大语言模型的应用场景… … 146
8.2 生成工具介绍 … … … … … 147
8.2.1 Stable Diffusion 147
8.2.2 Midjourney … … 150
8.2.3 可灵视频生成… … 152
8.3 实验: 文本生成图片和图片生成视频 … … 153
小结… … … … … 158
习题8 … … … … 160
第9 章 本地大语言模型部署… … … … … … 161
9 .1 为什么要构建本地大语言模型 … … … … … 162
9 .1 .1 构建数据主权与增强数字韧性… … 162
9 .1 .2 驱动自主创新与提升核心竞争力… 162Ⅸ
9 .1 .3 长期成本效益: 优化资源利用 … … 162
9 .2 本地部署大语言模型的基础认知 … … … … 163
9 .2.1 大语言模型概述… 163
9 .2.2 本地部署与云端部署的对比… … … 163
9 .2.3 本地部署适合场景… … … … … … … 163
9 .3 本地部署的准备工作 … … 163
9 .3 .1 硬件要求与选择… 163
9 .3 .2 软件工具… … … … 164
9 .3 .3 安全防护… … … … 164
9 .4 DeepSeek 本地部署实践 … 164
9 .4.1 DeepSeek 大语言模型: AI 领域的创新先锋 … … … 164
9 .4.2 DeepSeek 主要版本介绍 … … … … 166
9 .4.3 DeepSeek 选择建议 … … … … … … 167
9 .5 实验: DeepSeek R1 本地部署 … … … … … 168
小结… … … … … 175
习题9 … … … … 177
第10 章 大语言模型的应用 … … … … … … 178
10.1 生活中的大语言模型… … 179
10.1 .1 智能客服与在线购物助手… … … 179
10.1 .2 AI 家教: 教育领域的智能革命 181
10.2 行业中的大语言模型… … 184
10.2.1 大语言模型在金融行业的应用… 184
10.2.2 大语言模型在医疗行业的应用… 186
10.2.3 大语言模型在写作领域的应用… 188
10.3 实验… … 189
实验10-1 使用 Coze 自动生成小红书文档 … … … … … … 189
实验10-2 使用 Coze 平台辅助教学设计 193
实验10-3 构建基于 PDF 的智能问答系统 … … … … … … 199
实验10-4 用 AI 智能生成简易网站 … … 202
小结… … … … … 205
第11 章 大语言模型的评估 … … … … … … 208
11 .1 大语言模型评估体系及相关指标… … … … 209
11 .1 .1 功能性评估及指标… … … … … … 209
11 .1 .2 性能评估及指标… … … … … … … 212
11 .1 .3 对齐评估及指标… … … … … … … 213
11 .1 .4 安全性评估及指标… … … … … … 214
11 .2 大语言模型评估方法… … 215Ⅹ
11 .2.1 人工评估… … … 215
11 .2.2 大语言模型评估… … … … … … … 215
11 .2.3 对比评估… … … 215
11 .2.4 评估基准… … … 216
11 .3 大语言模型评估实践… … 216
11 .3 .1 当前流行的评估平台… … … … … 216
11 .3 .2 ModelScope Notebook … … … … 217
11 .4 实验: 使用 ModelScope 对自选模型进行评估 … … … … … 217
小结… … … … … 220
习题11 … … … 222
第12 章 伦理、安全与未来 223
12.1 大语言模型的伦理考量… 224
12.1 .1 偏见与公平性问题… … … … … … 224
12.1 .2 隐私侵犯风险… 224
12.1 .3 虚假信息传播… 224
12.2 大语言模型的安全挑战… 225
12.2.1 对抗攻击威胁… 225
12.2.2 数据安全隐患… 225
12.2.3 模型窃取风险… 225
12.2.4 AIGC 论文检测 AI 生成率与安全关联 … … … … 225
12.3 大语言模型的未来展望… 226
12.3 .1 技术发展趋势… 226
12.3 .2 液态神经网络技术的发展与应用前景… … … … … 226
12.3 .3 合成数据与未来发展… … … … … 226
12.3 .4 大语言模型的融合探索… … … … … … … … … … … 227
12.3 .5 大语言模型对各行业的影响及商业化发展… … … 227
12.3 .6 应对策略汇总… 228
小结… … … … … 228
习题12 … … … 229
