内容简介
本书系统地讲解了大语言模型的实战应用过程,涵盖基础知识、常见操作和应用开发3个方面,帮助大语言模型的使用者、应用开发者循序渐进地掌握大模型的原理、操作以及多个场景下的应用开发技能。全书共18章,分为三篇:
基础篇介绍大语言模型的基础知识、应用架构和应用工作模式。
操作篇详细讲解大模型的实操环节,包括环境搭建、多种有代表性的开源大语言模型的安装、微调与量化等常见操作。
开发篇讲述大语言模型在Chat、辅助编程、RAG、翻译、AI Agent、智能语音对话、数字人、模型训练、AI小镇这9个领域的应用开发过程,从工作原理、源码分析、部署运行和测试验证等方面进行了详细介绍。中间还穿插讲解了VS Code插件的开发,丰富了应用运行的场景。
基础篇介绍大语言模型的基础知识、应用架构和应用工作模式。
操作篇详细讲解大模型的实操环节,包括环境搭建、多种有代表性的开源大语言模型的安装、微调与量化等常见操作。
开发篇讲述大语言模型在Chat、辅助编程、RAG、翻译、AI Agent、智能语音对话、数字人、模型训练、AI小镇这9个领域的应用开发过程,从工作原理、源码分析、部署运行和测试验证等方面进行了详细介绍。中间还穿插讲解了VS Code插件的开发,丰富了应用运行的场景。
作者简介
高强文
互链高科(北京)技术发展有限公司总经理,银川方达电子系统工程有限公司董事长,宁夏回族自治区劳动模范。专注于人工智能大语言模型应用开发、开源社区开发与运营。参加工作20多年来,一直从事医疗健康领域信息化、人工智能等产品研发与管理工作,近年来致力于开源事业,开发运营aliendao.cn、gitclone.com和opendao.cn等开源社区,在GitHub上贡献了20多个开源代码库。
互链高科(北京)技术发展有限公司总经理,银川方达电子系统工程有限公司董事长,宁夏回族自治区劳动模范。专注于人工智能大语言模型应用开发、开源社区开发与运营。参加工作20多年来,一直从事医疗健康领域信息化、人工智能等产品研发与管理工作,近年来致力于开源事业,开发运营aliendao.cn、gitclone.com和opendao.cn等开源社区,在GitHub上贡献了20多个开源代码库。
目录
前言
基础篇
第1章 大语言模型的基础知识
1.1 大语言模型概述
1.1.1 基本情况
1.1.2 发展历史
1.1.3 发展现状
1.1.4 发展趋势
1.2 基本原理
1.2.1 Transformer架构
1.2.2 编码器与解码器
1.2.3 自注意力机制
1.3 应用开发技术
1.3.1 Python
1.3.2 React.js
1.4 训练方法
1.4.1 FFT
1.4.2 RLHF
1.4.3 P-Tuning
1.4.4 LoRA
1.5 常见现象
1.5.1 幻觉
1.5.2 灾难性遗忘
1.5.3 涌现
1.5.4 价值对齐
第2章 大语言模型应用架构
2.1 整体架构
2.2 基础设施
2.2.1 硬件部分
2.2.2 操作系统
2.3 基础软件
2.3.1 CUDA
2.3.2 PyTorch
2.3.3 Anaconda
2.3.4 Nginx
2.4 应用软件
2.4.1 大语言模型文件
2.4.2 Transformers库
2.4.3 服务程序
2.4.4 API
2.4.5 客户端程序
第3章 大语言模型应用的工作模式
3.1 硬件部署
3.2 应用软件部署
3.3 运行模式
3.3.1 模型API服务的工作模式
3.3.2 模型API服务的运行过程
3.3.3 前后端交互方法
3.3.4 前端实现
操作篇
第4章 应用环境搭建
4.1 基础设施
4.1.1 服务器要求
4.1.2 操作系统准备
4.1.3 推理卡安装
4.2 基础软件安装
4.2.1 Linux
4.2.2 Windows
4.3 其他软件安装
4.3.1 Nginx
4.3.2 Git
第5章 大语言模型安装
5.1 ChatGLM安装
5.1.1 ChatGLM3模型介绍
5.1.2 ChatGLM3-6B安装
5.1.3 编程验证
5.2 Qwen-VL安装
5.2.1 Qwen模型介绍
5.2.2 Qwen-VL-Chat-Int4安装
5.2.3 编程验证
5.3 LLaMA2安装
5.3.1 LLaMA2模型介绍
5.3.2 Llama-2-7b-chat安装
5.3.3 运行验证
5.4 Gemma安装
5.4.1 Gemma模型介绍
5.4.2 Gemma-2B安装
5.4.3 编程验证
5.5 Whisper安装
5.5.1 Whisper-large-v3介绍
5.5.2 Whisper-large-v3安装
5.5.3 编程验证
第6章 大语言模型微调
6.1 ChatGLM微调
6.1.1 微调方法介绍
6.1.2 微调环境准备
6.1.3 语料准备
6.1.4 模型下载
6.1.5 微调过程
6.1.6 微调模型测试
6.2 LLaMA2微调
6.2.1 微调方法介绍
6.2.2 微调环境准备
6.2.3 语料准备
6.2.4 模型下载
6.2.5 微调过程
6.2.6 PEFT微调模型测试
6.2.7 模型合并
6.2.8 合并后模型测试
6.3 Gemma微调
6.3.1 微调方法介绍
6.3.2 微调环境准备
6.3.3 模型下载
6.3.4 微调程序开发
6.3.5 语料文件下载
6.3.6 微调与测试过程
第7章 大语言模型量化
7.1 量化介绍
7.2 llama.cpp量化过程
7.2.1 llama.cpp编译
7.2.2 模型GGUF格式转换
7.2.3 模型下载
7.2.4 量化过程
7.2.5 量化模型测试
7.2.6 Web方式运行
7.3 gemma.cpp量化过程
7.3.1 gemma.cpp源码下载
7.3.2 gemma.cpp编译
7.3.3 量化模型下载
7.3.4 推理
第8章 多模态模型应用
8.1 Stable Diffusion介绍
8.2 Stable Diffusion部署
8.2.1 代码获取
8.2.2 Python虚拟环境准备
8.2.3 依赖库安装
8.2.4 模型下载
8.2.5 服务运行
8.3 Stable Diffusion应用
8.3.1 文生图应用
8.3.2 图生图应用
开发篇
第9章 Chat应用
9.1 目标
9.2 原理
9.2.1 功能概要
9.2.2 系统架构
9.2.3 运行原理
9.3 开发过程
9.3.1 Node.js安装
9.3.2 chat-app新建
9.3.3 源代码
9.3.4 测试
9.3.5 应用发布
第10章 辅助编程应用
10.1 目标
10.2 原理
10.2.1 功能概要
10.2.2 系统架构
10.2.3 运行原理
10.3 开发过程
10.3.1 开发环境准备
10.3.2 测试模型准备
10.3.3 API服务实现
10.3.4 测试
第11章 VS Code插件
11.1 目标
11.2 原理
11.2.1 功能概要
11.2.2 系统架构
11.2.3 运行原理
11.3 开发过程
11.3.1 环境准备与项目创建
11.3.2 插件开发
11.3.3 插件发布
第12章 检索增强生成应用
12.1 目标
12.2 原理
12.2.1 功能概要
12.2.2 系统架构
12.2.3 运行原理
12.3 开发过程
12.3.1 大语言模型安装
12.3.2 依赖库安装
12.3.3 向量化模型下载
12.3.4 源代码
12.3.5 测试
第13章 PDF翻译应用
13.1 目标
13.2 原理
13.2.1 功能概要
13.2.2 系统架构
13.2.3 运行原理
13.3 开发过程
13.3.1 大语言模型安装
13.3.2 依赖环境安装
13.3.3 下载英译中模型
13.3.4 源代码
13.3.5 测试
第14章 智能代理应用
14.1 目标
14.2 原理
14.2.1 AI Agent
14.2.2 AutoGen
14.3 开发过程
14.3.1 大语言模型安装
14.3.2 Docker安装
14.3.3 虚拟环境准备
14.3.4 运行环境验证
14.3.5 多代理会话应用开发
第15章 语音模型应用
15.1 目标
15.2 原理
15.2.1 功能概要
15.2.2 系统架构
15.2.3 运行原理
15.3 开发过程
15.3.1 运行环境安装
15.3.2 模型下载
15.3.3 Demo运行
15.3.4 服务端开发
15.3.5 客户端开发
15.3.6 测试
第16章 数字人应用
16.1 目标
16.2 原理
16.2.1 功能概要
16.2.2 系统架构
16.2.3 运行原理
16.3 开发过程
16.3.1 环境准备
16.3.2 源代码
16.3.3 测试
第17章 提示词生成应用:从零训练模型
17.1 目标
17.2 原理
17.2.1 GPT-2
17.2.2 训练流程与应用架构
17.2.3 训练方法与运行原理
17.3 开发与训练过程
17.3.1 语料整理
17.3.2 训练
17.3.3 推理与服务
17.3.4 测试
第18章 AI小镇应用
18.1 目标
18.2 原理
18.2.1 功能概要
18.2.2 系统架构
18.2.3 运行原理
18.3 开发过程
18.3.1 大语言模型安装
18.3.2 开发环境搭建
18.3.3 地图制作
18.3.4 app.js
18.3.5 BootScene.js
18.3.6 GameScene.js
18.3.7 ChatUtils.js
18.3.8 测试
推荐阅读
基础篇
第1章 大语言模型的基础知识
1.1 大语言模型概述
1.1.1 基本情况
1.1.2 发展历史
1.1.3 发展现状
1.1.4 发展趋势
1.2 基本原理
1.2.1 Transformer架构
1.2.2 编码器与解码器
1.2.3 自注意力机制
1.3 应用开发技术
1.3.1 Python
1.3.2 React.js
1.4 训练方法
1.4.1 FFT
1.4.2 RLHF
1.4.3 P-Tuning
1.4.4 LoRA
1.5 常见现象
1.5.1 幻觉
1.5.2 灾难性遗忘
1.5.3 涌现
1.5.4 价值对齐
第2章 大语言模型应用架构
2.1 整体架构
2.2 基础设施
2.2.1 硬件部分
2.2.2 操作系统
2.3 基础软件
2.3.1 CUDA
2.3.2 PyTorch
2.3.3 Anaconda
2.3.4 Nginx
2.4 应用软件
2.4.1 大语言模型文件
2.4.2 Transformers库
2.4.3 服务程序
2.4.4 API
2.4.5 客户端程序
第3章 大语言模型应用的工作模式
3.1 硬件部署
3.2 应用软件部署
3.3 运行模式
3.3.1 模型API服务的工作模式
3.3.2 模型API服务的运行过程
3.3.3 前后端交互方法
3.3.4 前端实现
操作篇
第4章 应用环境搭建
4.1 基础设施
4.1.1 服务器要求
4.1.2 操作系统准备
4.1.3 推理卡安装
4.2 基础软件安装
4.2.1 Linux
4.2.2 Windows
4.3 其他软件安装
4.3.1 Nginx
4.3.2 Git
第5章 大语言模型安装
5.1 ChatGLM安装
5.1.1 ChatGLM3模型介绍
5.1.2 ChatGLM3-6B安装
5.1.3 编程验证
5.2 Qwen-VL安装
5.2.1 Qwen模型介绍
5.2.2 Qwen-VL-Chat-Int4安装
5.2.3 编程验证
5.3 LLaMA2安装
5.3.1 LLaMA2模型介绍
5.3.2 Llama-2-7b-chat安装
5.3.3 运行验证
5.4 Gemma安装
5.4.1 Gemma模型介绍
5.4.2 Gemma-2B安装
5.4.3 编程验证
5.5 Whisper安装
5.5.1 Whisper-large-v3介绍
5.5.2 Whisper-large-v3安装
5.5.3 编程验证
第6章 大语言模型微调
6.1 ChatGLM微调
6.1.1 微调方法介绍
6.1.2 微调环境准备
6.1.3 语料准备
6.1.4 模型下载
6.1.5 微调过程
6.1.6 微调模型测试
6.2 LLaMA2微调
6.2.1 微调方法介绍
6.2.2 微调环境准备
6.2.3 语料准备
6.2.4 模型下载
6.2.5 微调过程
6.2.6 PEFT微调模型测试
6.2.7 模型合并
6.2.8 合并后模型测试
6.3 Gemma微调
6.3.1 微调方法介绍
6.3.2 微调环境准备
6.3.3 模型下载
6.3.4 微调程序开发
6.3.5 语料文件下载
6.3.6 微调与测试过程
第7章 大语言模型量化
7.1 量化介绍
7.2 llama.cpp量化过程
7.2.1 llama.cpp编译
7.2.2 模型GGUF格式转换
7.2.3 模型下载
7.2.4 量化过程
7.2.5 量化模型测试
7.2.6 Web方式运行
7.3 gemma.cpp量化过程
7.3.1 gemma.cpp源码下载
7.3.2 gemma.cpp编译
7.3.3 量化模型下载
7.3.4 推理
第8章 多模态模型应用
8.1 Stable Diffusion介绍
8.2 Stable Diffusion部署
8.2.1 代码获取
8.2.2 Python虚拟环境准备
8.2.3 依赖库安装
8.2.4 模型下载
8.2.5 服务运行
8.3 Stable Diffusion应用
8.3.1 文生图应用
8.3.2 图生图应用
开发篇
第9章 Chat应用
9.1 目标
9.2 原理
9.2.1 功能概要
9.2.2 系统架构
9.2.3 运行原理
9.3 开发过程
9.3.1 Node.js安装
9.3.2 chat-app新建
9.3.3 源代码
9.3.4 测试
9.3.5 应用发布
第10章 辅助编程应用
10.1 目标
10.2 原理
10.2.1 功能概要
10.2.2 系统架构
10.2.3 运行原理
10.3 开发过程
10.3.1 开发环境准备
10.3.2 测试模型准备
10.3.3 API服务实现
10.3.4 测试
第11章 VS Code插件
11.1 目标
11.2 原理
11.2.1 功能概要
11.2.2 系统架构
11.2.3 运行原理
11.3 开发过程
11.3.1 环境准备与项目创建
11.3.2 插件开发
11.3.3 插件发布
第12章 检索增强生成应用
12.1 目标
12.2 原理
12.2.1 功能概要
12.2.2 系统架构
12.2.3 运行原理
12.3 开发过程
12.3.1 大语言模型安装
12.3.2 依赖库安装
12.3.3 向量化模型下载
12.3.4 源代码
12.3.5 测试
第13章 PDF翻译应用
13.1 目标
13.2 原理
13.2.1 功能概要
13.2.2 系统架构
13.2.3 运行原理
13.3 开发过程
13.3.1 大语言模型安装
13.3.2 依赖环境安装
13.3.3 下载英译中模型
13.3.4 源代码
13.3.5 测试
第14章 智能代理应用
14.1 目标
14.2 原理
14.2.1 AI Agent
14.2.2 AutoGen
14.3 开发过程
14.3.1 大语言模型安装
14.3.2 Docker安装
14.3.3 虚拟环境准备
14.3.4 运行环境验证
14.3.5 多代理会话应用开发
第15章 语音模型应用
15.1 目标
15.2 原理
15.2.1 功能概要
15.2.2 系统架构
15.2.3 运行原理
15.3 开发过程
15.3.1 运行环境安装
15.3.2 模型下载
15.3.3 Demo运行
15.3.4 服务端开发
15.3.5 客户端开发
15.3.6 测试
第16章 数字人应用
16.1 目标
16.2 原理
16.2.1 功能概要
16.2.2 系统架构
16.2.3 运行原理
16.3 开发过程
16.3.1 环境准备
16.3.2 源代码
16.3.3 测试
第17章 提示词生成应用:从零训练模型
17.1 目标
17.2 原理
17.2.1 GPT-2
17.2.2 训练流程与应用架构
17.2.3 训练方法与运行原理
17.3 开发与训练过程
17.3.1 语料整理
17.3.2 训练
17.3.3 推理与服务
17.3.4 测试
第18章 AI小镇应用
18.1 目标
18.2 原理
18.2.1 功能概要
18.2.2 系统架构
18.2.3 运行原理
18.3 开发过程
18.3.1 大语言模型安装
18.3.2 开发环境搭建
18.3.3 地图制作
18.3.4 app.js
18.3.5 BootScene.js
18.3.6 GameScene.js
18.3.7 ChatUtils.js
18.3.8 测试
推荐阅读
[ 大模型项目实战下载地址 ]
最后修改:2024 年 11 月 16 日
© 允许规范转载