仓库地址：https://github.com/ZJU-LLMs/Foundations-of-LLMs

PDF下载：大模型基础 完整版PDF

《大模型基础》深入探讨大语言模型的核心技术，包括传统语言模型、Transformer架构的演进、Prompt工程、参数高效微调等前沿领域。每月更新，跟踪技术发展。书中以动物案例增加趣味性，提供章节论文清单和完整PDF资源下载，详细分析模型编辑、检索增强生成等实用技术，介绍大语言模型的评估方法和推理加速研究方向。教材涵盖统计方法、RNN架构、Decoder-only模型等核心概念，还包含低秩适配、T-Patcher等实际操作方案，有助于开发者构建智能体应用系统。开放社区互动优化机制，不断增加大模型智能体等新内容，致力于打造专业级人工智能技术学习生态。

大模型基础

本书旨在为对大语言模型感兴趣的读者系统地讲解相关基础知识，并介绍前沿技术。作者团队会听取开源社区及专家学者的建议，持续进行月度更新，致力于打造易读、严谨、有深度的大模型教材。本书还将配备相关的Paper List，以跟踪最新技术进展。

章节概述

本书第一版涵盖以下六个章节，每章通过一种动物为背景，介绍相关技术。

第 1 章：语言模型基础

• 1.1 基于统计方法的语言模型
• 1.2 基于 RNN 的语言模型
• 1.3 基于 Transformer 的语言模型
• 1.4 语言模型的采样方法
• 1.5 语言模型的评测

第 2 章：大语言模型架构演化

• 2.1 大数据 + 大模型 → 新智能
• 2.2 大语言模型架构概览
• 2.3 基于 Encoder-only 架构的大语言模型
• 2.4 基于 Encoder-Decoder 架构的大语言模型
• 2.5 基于 Decoder-only 架构的大语言模型
• 2.6 非 Transformer 架构

第 3 章：Prompt 工程

• 3.1 Prompt 工程简介
• 3.2 上下文学习
• 3.3 思维链
• 3.4 Prompt 技巧
• 3.5 相关应用

第 4 章：参数高效微调

• 4.1 参数高效微调简介
• 4.2 参数附加方法
• 4.3 参数选择方法
• 4.4 低秩适配方法
• 4.5 实践与应用

第 5 章：模型编辑

• 5.1 模型编辑简介
• 5.2 模型编辑经典方法
• 5.3 附加参数法：T-Patcher
• 5.4 定位编辑法：ROME
• 5.5 模型编辑应用

第 6 章：检索增强生成

• 6.1 检索增强生成简介
• 6.2 检索增强生成架构
• 6.3 知识检索
• 6.4 生成增强
• 6.5 实践与应用