PyLLM

主题

Hugging Face Transformers 教程大纲 ​

总体设计思路 ​

Transformers 是整个 LLM 技术栈的基石层——它位于 PyTorch 之上、LangChain/LangGraph 之下，是理解所有大语言模型工作原理的必经之路。本教程的设计遵循以下原则：

  1. 从原理到实践：先讲清楚 Transformer 为什么这样设计（注意力机制的直觉），再讲怎么用
  2. 从微观到宏观：从单个 Token 的处理流程 → 单层 Transformer Block → 完整模型 → 训练/微调/部署
  3. 从 API 到源码：先用 High-Level API 快速上手，再深入源码理解实现细节
  4. 覆盖全链路：Pipeline → Model → Tokenizer → Config → Dataset → Trainer → 自定义训练 → 部署优化

第01章：Transformer 原理与架构入门（5节） ​

定位 ​

面向有一定 Python 和基础机器学习知识但从未接触过 Transformer 的读者。用最直观的方式解释"为什么需要 Transformer"以及"它是如何工作的"。

01-01 从 RNN 到 Transformer：自然语言处理的范式转移 ​

  • 白板式引入：用一个具体场景（翻译 "I love you" → "我爱你"）对比 RNN/LSTM/Seq2Seq 与 Transformer 的处理方式差异
  • RNN 的根本痛点：序列依赖导致无法并行、长距离信息丢失（梯度消失）、固定长度上下文窗口
  • Attention 的直觉起源：人类阅读时不是逐字理解，而是"目光聚焦"在关键位置——这就是 Attention 的核心思想
  • 2017 年那篇论文：《Attention Is All You Need》的历史地位和影响
  • 代码预览：不写完整代码，只给一个最小示例感受 Pipeline 的简洁性

01-02 Self-Attention 机制深度拆解 ​

  • Q/K/V 的物理含义：Query（我要找什么）、Key（我有什么特征）、Value（我的实际内容）——用图书馆检索做类比
  • 数学推导：从点积到 Softmax 到加权求和，每一步的几何意义
  • Multi-Head Attention：为什么需要多个头？每个头关注不同的语义关系（语法/指代/情感等）
  • 图解：矩阵运算流程图 + 注意力权重热力图的直观展示
  • 代码实现：从零手写一个 Single-Head Self-Attention（纯 NumPy/PyTorch），然后对比 HF 实现

01-03 Encoder-Decoder 架构全景 ​

  • 原始 Transformer 的完整结构：Encoder（编码端）+ Decoder（解码端）+ Cross-Attention
  • Positional Encoding：为什么需要位置信息？Sinusoidal vs Learned vs RoPE 三种方案对比
  • Layer Normalization vs Batch Norm：为什么 Transformer 用 LayerNorm？Pre-Norm vs Post-Norm
  • Feed-Forward Network (FFN)：两层 MLP 在每个位置独立作用的作用——"位置级特征变换"
  • 残差连接：解决深层网络的梯度问题
  • 完整前向传播流程图：一张图走通一个 Token 从输入到输出的全部计算路径

01-04 只有 Encoder / 只有 Decoder 的变体 ​

  • Encoder-only 模型：BERT 系列——双向注意力，适合理解类任务（分类/NER/抽取）
  • Decoder-only 模型：GPT 系列——因果掩码（Causal Mask），自回归生成
  • Encoder-Decoder 模型：T5/BART —— 序列到序列任务（翻译/摘要）
  • 三者的选择决策树：根据任务类型选模型架构
  • 代码对比：同一个文本分别送入 BERT/GPT/T5，观察输出差异

01-05 Hugging Face 生态概览与快速上手 ​

  • Hugging Face 公司与使命：Democratizing AI
  • 四大核心库的关系：
    • transformers：模型推理与训练
    • datasets：数据集加载与处理
    • tokenizers：高性能分词器
    • accelerate：分布式训练加速
    • peft：参数高效微调
    • trl：强化学习微调（RLHF/DPO）
  • Model Hub：10万+ 模型的社区生态
  • 第一个 Pipeline 体验：3 行代码完成情感分析/文本生成/问答
  • 环境安装与配置：transformers + torch 版本匹配、CUDA 验证

第02章：Tokenizer —— 文本到模型的桥梁（4节） ​

定位 ​

Tokenizer 是被严重低估的组件。很多人直接用默认 Tokenizer 却不理解它在做什么，导致微调效果差、推理速度慢、Token 浪费等问题层出不穷。这一章彻底讲透。

02-01 分词算法演进史 ​

  • 为什么不能简单按空格分词：英文的缩写/连字符/标点问题；中文根本没有空格
  • Word-level 分词：词汇表爆炸、OOV（Out-of-Vocabulary）问题
  • Character-level 分词：序列过长、丢失词级别语义
  • Subword 分词的黄金时代：
    • BPE（Byte Pair Encoding）：统计高频字节对合并
    • WordPiece：Google 的变体，加入 ## 前缀标记续接
    • Unigram Language Model：基于概率的子词切分
    • SentencePiece：统一框架（BPE + Unigram），支持多语言
  • 代码实战：手写一个简化版 BPE 训练过程，观察词汇表如何逐步增长

02-02 Hugging Face Tokenizer 核心API ​

  • AutoTokenizer：自动识别并加载正确的分词器
  • encode / encode_plus / batch_encode：三种编码方式的区别和使用场景
  • 返回值详解：input_ids / attention_mask / token_type_ids 各自的含义和用途
  • Special Tokens：[PAD] [UNK] [CLS] [SEP] [MASK] （<bos> / <eos>）的各自角色
  • decode：从 ID 还原文本，处理特殊 token 的策略
  • 常见陷阱：
    • truncate 参数截断位置不对导致丢失关键信息
    • padding='max_length' vs padding=True 的行为差异
    • add_special_tokens=False 的使用场景

02-03 多语言与多模态 Tokenizer ​

  • 多语言 Tokenizer：XLM-R 的 SentencePiece、mT5 的 vocabulary 策略
  • 中文分词的特殊性：BERT 中文用 Whole Word Masking（WWM）——以汉字为单位 mask
  • 图像 Tokenizer：ViT 的 image patch embedding、CLIP 的视觉 tokenizer
  • 音频 Tokenizer：Whisper 的音频特征提取器（本质也是一种 tokenizer）
  • 代码实操：同一句话分别用 bert-base-chinese / xlm-roberta / t5-base 分词，对比结果差异

02-04 Tokenizer 性能优化与自定义 ​

  • Fast Tokenizer vs Slow Tokenizer：基于 Rust 的 HuggingFace Tokenizers 库，提速 10-100x
  • 自定义 Tokenizer：从零训练自己的 SentencePiece 模型（适用于领域术语多的场景）
  • Tokenizer 缓存机制：避免重复下载和解析
  • 生产环境注意事项：batch encode 的内存管理、超长文本的分块策略
  • 面试高频问题：BPE 的 merge 操作是贪心的吗？能否回退？vocab_size 如何确定？

第03章：Model 核心组件与架构（6节） ​

定位 ​

这是整门课最硬核的一章。读者将真正理解"大模型内部到底在干什么"。从配置文件到模型权重，从前向传播到中间层输出，全面解剖。

03-01 Config —— 模型的 DNA ​

  • Config 类的作用：存储模型的所有超参数和架构定义（层数/头数/隐藏维度/vocab_size 等）
  • Config 的继承体系：PretrainedConfig → BertConfig → BertForSequenceClassificationConfig
  • from_pretrained 工作流：本地缓存 → Hub 下载 → JSON 解析 → 对象实例化
  • 关键参数解读：hidden_size / num_attention_heads / intermediate_size / num_hidden_layers / vocab_size / type_vocab_size
  • 修改 Config 的风险：改 hidden_size 但不改 pretrained 权重会怎样？
  • 保存与加载：save_pretrained / from_pretrained 的底层逻辑
  • 自定义 Config：创建全新架构时的第一步

03-02 Model 的层级结构 ​

  • PreTrainedModel：所有模型的基类，提供了什么通用能力？（save/load/init_weights/gradient_checkpointing 等）
  • Head-less Body：BertModel / GPT2LMHeadModel 中不带分类头的部分
  • 各种 Head：
    • Model（裸模型，返回 hidden states）
    • ForCausalLM（带 LM Head，用于生成）
    • ForSequenceClassification（带分类头）
    • ForTokenClassification（NER/POS）
    • ForQuestionAnswering（问答）
    • ForMultipleChoice（多选）
    • ForMaskedLM（MLM 预训练目标）
  • 选择哪个 Model 类？ 根据下游任务类型决策
  • 代码实操：同一个 BERT 权重分别加载为 BertModel / BertForSequenceClassification / BertForMaskedLM，对比输出差异

03-03 前向传播全过程追踪 ​

  • input_ids → Embedding：Word Embedding + Position Embedding + Token Type Embedding 的加法组合
  • Embedding → Encoder Layers：逐层通过 Self-Attention + FFN + LayerNorm + Residual
  • 单层 Encoder 内部数据流：详细追踪 tensor shape 变化（batch, seq_len, hidden_size）
  • Attention 输出可视化：打印 attention weights 观察模型"在看哪里"
  • Hidden States：last_hidden_state / pooler_output / all_hidden_states / attentions 的区别
  • return_dict=True：ModelOutput 数据类的字段说明
  • 代码实操：hook 注册中间层输出，逐层检查 shape 和数值分布

03-04 核心模块源码级解读 ​

  • BertSelfAttention 源码走读：
    • Q/K/V 线性投影（nn.Linear）
    • split heads（reshape 操作）
    • scaled dot-product attention（matmul + scale + mask + softmax + dropout）
    • concat heads + output projection
  • BertIntermediate + BertOutput（FFN）源码：GELU 激活函数、dropout、残差连接
  • BertLayer（单层完整封装）：Attention → Add&Norm → FFN → Add&Norm（Post-Norm 结构）
  • BertEncoder（N 层堆叠）
  • BertPooler：[CLS] token 的 tanh 处理——为什么是 tanh 而不是其他激活函数？

03-05 GPT 架构细节（Decoder-only 深入） ​

  • 与 BERT 的关键差异：因果掩码（Causal Mask / Upper Triangular Mask）
  • Positional Encoding 变体：GPT-2 用 learned positional embeddings（可训练的位置向量）
  • LayerNorm 位置：GPT-2 采用 Pre-LayerNorm（LN 在 Attention/FFN 之前），为什么？
  • KV Cache：自回归生成的性能优化利器——原理、实现、内存占用分析
  • GPT 的 forward 方法：inputs_embeds vs input_ids、past_key_values、use_cache 参数
  • 代码实操：手动实现 KV Cache 的推理循环，对比有无 cache 的速度差异

03-06 模型初始化与权重加载 ​

  • 权重初始化方法：Xavier / Kaiming / Truncated Normal —— 各自适用场景
  • HF 默认初始化策略：不同层的不同初始化（attention 层用 truncated normal，output 层可能用 zero init）
  • load_state_dict 严格模式 vs 松散模式：missing_keys / unexpected_keys 的含义和处理
  • 部分加载与迁移学习：只加载 encoder 不加载 head、跨模型迁移（bert → roberta）
  • dtype 管理：float16 / bfloat16 / float32 的混用策略（AMP 自动混合精度）
  • device_map：大模型的多 GPU / CPU 卸载策略（accelerate 库）

第04章：Pipeline —— 高阶 API 速通（4节） ​

定位 ​

对于只想快速用起来解决问题的用户，Pipeline 是最高效的入口。但要真正用好它，需要理解其背后的设计哲学和高级用法。

04-01 Pipeline 基础与内置任务 ​

  • 十大内置 Pipeline 任务：
    • text-classification（情感分析）
    • zero-shot-classification（零样本分类）
    • text-generation（文本生成）
    • fill-mask（完形填空）
    • question-answering（抽取式问答）
    • summarization（摘要）
    • translation（翻译）
    • text2text-generation（序列到序列生成）
    • image-classification / image-segmentation / object-detection
    • audio-classification / automatic-speech-recognition
  • 每个任务的默认模型：pipeline() 不指定 model 时用什么？为什么选这些？
  • 基本用法：pipeline("task-name") → result = pipe(text)
  • 批量处理：传入 list 批量推理
  • 设备自动检测：GPU/CPU/MPS 自动选择

04-02 Pipeline 高级配置 ​

  • model / tokenizer / framework 参数：指定非默认模型
  • device / device_map：指定运行设备
  • max_length / truncation：控制输入输出长度
  • top_k / top_p / temperature / repetition_penalty：生成任务的采样参数详解
  • return_all_scores：获取所有类别概率而非仅 top-1
  • batch_size：批量推理的显存-速度权衡
  • 代码实操：对比不同 temperature / top_p 下生成结果的多样性变化

04-03 自定义 Pipeline ​

  • 什么时候需要自定义？：内置 Pipeline 不满足需求时（如特殊的预处理/后处理逻辑）
  • Pipeline 类的结构：call / _sanitize_parameters / preprocess / _forward / postprocess
  • 实现步骤：继承 Pipeline 类 → 重写必要方法 → 注册到 PIPELINE_REGISTRY
  • 案例：实现一个"关键词高亮的情感分析 Pipeline"，输出中标记出影响判断的关键词
  • Pipeline 与 Model 直接调用的关系：Pipeline 本质上是对 Model + Tokenizer + Post-processing 的封装

04-04 Pipeline 性能优化 ​

  • ONNX Runtime 推理加速：导出 ONNX 模型、pipeline 使用 ORT 后端的配置
  • TensorRT 加速（可选）：NVIDIA 推理优化器的集成方式
  • 批量化策略：dynamic batching vs static batching
  • 并发推理：async pipeline + asyncio 实现高吞吐服务
  • 量化推理：int8 / int4 量化的 Pipeline 用法
  • Benchmark 对比：PyTorch eager mode vs Torch Compile vs ONNX vs TensorRT 的延迟/吞吐对比

第05章：数据集与数据处理（4节） ​

定位 ​

数据决定了模型的上限。这一章讲解如何高效地加载、处理和管理 NLP 数据集。

05-01 Datasets 库核心功能 ​

  • 为什么不用 Pandas/原生 Python 处理数据？：内存映射、懒加载、分布式处理
  • 加载数据集的方式：
    • load_dataset("dataset_name")：从 Hub 下载
    • load_dataset("json") / load_dataset("csv")：从本地文件
    • load_from_disk()：加载已保存的数据集
  • Dataset / DatasetDict / Arrow Table：底层数据结构（Apache Arrow）
  • 切片与过滤：select / filter / sort / shuffle
  • split 管理：train / validation / test 切分的创建与操作
  • 常用数据集一览：GLUE / SQuAD / CNN-DailyMail / WMT / ImageNet / Common Voice

05-02 数据预处理流水线 ​

  • map 函数：Dataset 最强大的工具——对每个样本应用自定义函数
    • batched=True：批量处理提速
    • num_proc：多进程并行
    • remove_columns：清理不需要的列
  • tokenize 的标准写法：map + tokenizer 的组合模式
  • 动态填充（Dynamic Padding）：DataCollatorWithPadding vs DataCollatorForLanguageModeling
  • Data Collator 种类：
    • DefaultDataCollator（简单的 batch 堆叠）
    • DataCollatorWithPadding（动态 pad 到 batch 内最长）
    • DataCollatorForLanguageModeling（MLM 的 mask 策略）
    • DataCollatorForSeq2Seq（Encoder-Decoder 的 pad 策略
  • 代码实操：从原始 CSV 到 tokenize 后的 DataLoader 完整流水线

05-03 数据增强与清洗 ​

  • 文本增强技术：
    • 同义词替换（NLPAug / TextAttack）
    • 回译增强（中→英→中）
    • 随机噪声注入
    • EDA（Easy Data Augmentation）
  • 数据去重：MinHash / SimHash 用于大规模文本去重
  • 数据平衡：过采样 / 欠采样 / class weight / focal loss
  • 质量过滤：语言检测、长度过滤、毒性检测、规则过滤器
  • 代码实操：构建一个包含增强+清洗+tokenize 的完整 Dataset.prepare() 方法

05-4 自定义数据集 ​

  • 上传到 Hub：huggingface_hub 上传私有/公开数据集
  • Dataset Card 编写：数据集文档的最佳实践
  • Builder 模式：为全新的数据格式编写自定义 Dataset Builder
  • 流式加载（Streaming）：TB 级别数据的处理方案——不一次性加载到内存
  • 远程数据集：直接从 URL / HDFS / S3 加载数据

第06章：模型微调（Fine-Tuning）（6节） ​

定位 ​

这是从"使用者"进阶到"开发者"的关键章节。大部分实际应用中的模型都是经过微调的预训练模型，掌握微调就掌握了让模型适应特定任务的核心技能。

06-01 微调的基本概念与策略 ​

  • 预训练 + 微调范式的由来：ImageNet 迁移学习 → NLP 领域的 ULMFiT → BERT 两阶段训练
  • 为什么微调有效？：预训练学到的语言知识（语法/常识/世界知识）可以迁移
  • Full Fine-tuning vs PEFT：更新全部参数 vs 只更新少量参数
  • 微调前的准备工作：
    • 任务定义（输入/输出格式）
    • 数据准备（训练/验证/测试集）
    • 评估指标选择
    • 基线模型选择
  • 微调的常见陷阱：
    • 学习率太大 → 灾难性遗忘（Catastrophic Forgetting）
    • 训练太久 → 过拟合
    • 数据太少 → 欠拟合
    • batch size 太小 → 训练不稳定

06-02 Trainer API 入门 ​

  • TrainingArguments：核心训练参数详解
    • output_dir / num_train_epochs / per_device_train_batch_size
    • learning_rate / weight_decay / adam_beta1 / adam_beta2
    • warmup_steps / lr_scheduler_type（linear / cosine / polynomial / constant）
    • fp16 / bf16 / gradient_accumulation_steps
    • logging_steps / save_strategy / evaluation_strategy
    • dataloader_num_workers / dataloader_pin_memory
    • report_to（tensorboard / wandb）
  • Trainer 初始化：model / args / train_dataset / eval_dataset / tokenizer / data_collator / compute_metrics
  • trainer.train()：开始训练！
  • trainer.evaluate()：评估验证集表现
  • trainer.save_model()：保存最佳模型
  • 完整的微调脚本模板：一个可直接运行的 sentiment analysis 微调脚本

06-3 训练过程监控与调试 ​

  • Logging 集成：TensorBoard / Weights & Biases / MLflow
  • 关键指标解读：
    • Training Loss vs Validation Loss 曲线分析
    • 过拟合 / 欠拟合的早期信号
    • Loss 突然爆炸的原因（lr too high / gradient explosion / NaN in data）
  • Gradient Accumulation：显存不够时模拟大 batch size
  • Gradient Clipping：防止梯度爆炸（grad_norm_ / grad_clip_val）
  • Mixed Precision Training（AMP）：fp16/bf16 训练的原理和注意事项
  • Early Stopping：基于验证指标的早停策略（Callbacks）
  • Checkpoint 管理：save_total_limit / load_best_model_at_end

06-4 Sequence Classification 微调实战 ​

  • 任务：中文新闻分类（财经/体育/科技/娱乐/政治）
  • 数据集：THUCNews 或自建数据集
  • 模型选择：bert-base-chinese / hfl/chinese-roberta-wwm-ext
  • 完整流程：数据加载 → 预处理 → 定义 Trainer → 训练 → 评估 → 推理
  • 评估指标：Accuracy / F1-Score / Precision / Recall / Confusion Matrix
  • 错误分析：查看预测错误的样本，分析失败模式
  • 模型导出：保存为可部署的格式

06-05 高级训练技术 ​

  • 分层学习率（Layer-wise Learning Rate）：
    • 底层（靠近 embedding）学得慢、顶层（靠近输出头）学得快的原理
    • 实现方式：param_group 分组 / get_parameter_groups() 辅助函数
    • 适用场景：迁移学习、防止灾难性遗忘
  • 冻结层策略（Freezing Layers）：
    • 冻结 Embedding 层、冻结底层 Transformer、只微调顶层
    • requires_grad_ = False 的正确用法与常见陷阱
    • 小数据场景下的救命稻草——用更少参数达到更好效果
  • 多 GPU 训练策略：
    • DataParallel vs DistributedDataParallel（DDP）的选择
    • DeepSpeed ZeRO Stage 1/2/3：显存优化与通信开销的权衡
    • FSDP（Fully Sharded Data Parallel）：PyTorch 原生的参数分片方案
  • 混合精度训练详解（AMP）：
    • fp16 vs bf16 的选择（bf16 动态范围更大，更适合训练）
    • autocast + GradScaler 的完整工作流
    • 混合精度中的数值稳定性问题（loss scaling、梯度下溢）
  • 常见高级问题速查：显存碎片化、CUDA OOM 排查、多卡同步问题

06-06 评估与部署 ​

  • 全面评估：超越 Accuracy：
    • 分类任务：Precision / Recall / F1 / AUC-ROC / Confusion Matrix / 分类报告
    • 生成任务：BLEU / ROUGE / BERTScore / MoverScore / Perplexity
    • 回归任务：MAE / RMSE / R²
    • 自定义指标体系：业务导向的评估维度设计
  • 消融实验（Ablation Study）：
    • 理解每个组件的贡献（去掉某个模块后性能下降多少？）
    • 超参数敏感性分析（学习率/batch size/数据量的影响曲线）
    • 基线对比：Random Baseline / Majority Class / Pre-trained Zero-shot
  • 导出 ONNX / TensorRT —— 生产级推理加速：
    • torch.onnx.export() 导出流程与 dynamic_axes 配置
    • ONNX Graph Optimization（常量折叠/算子融合/死代码消除）
    • TensorRT INT8 校准流程与精度验证
  • 构建推理 API 服务：
    • FastAPI 同步/异步/Streaming SSE 三种接口模式
    • 模型懒加载与预热（warmup）策略
    • 批量推理与请求队列管理
  • 线上监控与告警：P99 延迟 / 吞吐量 / GPU 利用率 / 错误率 / 数据漂移检测

第07章：参数高效微调 PEFT（5节） ​

定位 ​

Full Fine-tuning 对于大模型来说成本过高（7B 模型就需要 28GB+ 显存）。PEFT 通过只训练极少量参数来达到接近 full fine-tuning 的效果，是目前大模型微调的主流方案。

07-01 PEFT 概述与 LoRA 原理与实现 ​

  • 为什么需要 PEFT？：成本分析——7B/13B/70B 模型的 full fine-tuning 显存需求，Adapter 类比（"聘请外部顾问"）
  • LoRA 核心原理：预训练权重的低秩特性，ΔW = BA 低秩分解数学推导（B ∈ R^{d×r}, A ∈ R^{r×k}，r << min(d,k)），从零实现 LoRALayer 类
  • 关键超参数详解：
    • rank (r)：典型值 4/8/16/32/64，越大表达能力越强但参数越多
    • alpha：缩放因子 α/r，通常设为 r 的 1-2 倍
    • lora_dropout：防止 LoRA 参数过拟合
    • target_modules：哪些层添加 LoRA（q/v/k/o / 全部 attention 层 / 含 FFN）
  • HF peft 库实战：LoraConfig 配置 + get_peft_model + Trainer 微调完整流程
  • QLoRA（Quantized LoRA）：4-bit 量化基座模型 + LoRA 微调——在消费级 GPU 上微调 65B+ 模型
    • BitsAndBytesConfig 配置（load_in_4bit, bnb_4bit_quant_type="nf4", double_quant, paged_adamw_32bit）
    • NF4（NormalFloat 4-bit）量化原理、Double Quantization、Paged Optimizers
  • 推理阶段：合并 LoRA 权重：merge_and_unload() 的数学原理 W_merged = W₀ + (B^T @ A^T) × (α/r)
  • 常见误区：rank 越大越好？所有层都加 LoRA？QLoRA 和 LoRA 效果一样？

07-02 其他 PEFT 方法：Adapter Tuning、Prefix Tuning 与 (IA)³ ​

  • Adapter Tuning：在网络层之间插入 bottleneck MLP
    • Houlsby Adapter（在 Attention 和 FFN 后各插入一层）
    • Pfeiffer Adapter（更高效的变体，只在 FFN 之后插入 LayerNorm+MLP）
    • Parallel Adapter（并行而非串行，残差连接方式融合）
  • Prefix Tuning / Prompt Tuning / P-Tuning v2：
    • Soft Prompt / Virtual Token：在 input 前面拼接可学习的连续向量
    • Prefix Tuning：在每个 Attention 层的 K/V 上添加前缀向量
    • Prompt Tuning：只在输入层添加 soft prompt（参数更少）
    • P-Tuning v2：Prefix Tuning 的改进版本，在每层都加 prefix 并用 MLP 重参数化
  • (IA)³（Infused Adapter by Inhibiting and Amplifying Inner Activations）：
    • 在 Attention 的 Value 矩阵和 FFN 中学习缩放向量（rescaling vectors λ/μ）
    • 参数量极小（~0.01%），效果与 LoRA 可比
  • 如何选择 PEFT 方法？：基于任务类型/数据量/计算资源/部署场景的决策矩阵
  • 常见误区：不同 PEFT 方法能否组合使用？Prompt Tuning 对超参数敏感吗？

07-03 不同任务类型的 PEFT 配置策略 ​

  • 任务类型与 PEFT 配置的映射关系：序列分类 vs NER vs QA vs 生成任务的差异
  • 序列分类（Sequence Classification）：target_modules 选择、rank/alpha 推荐、label smoothing
  • 命名实体识别（NER）与 Token Classification：word_ids 映射与 -100 忽略索引、实体边界处理
  • 抽取式问答（Question Answering）：滑动窗口处理长文档、stride 设置、answer 映射
  • 文本生成与指令微调（Causal LM）：Alpaca/ShareGPT/OpenAI 格式的数据处理、padding_side 选择、max_length 策略
  • 快速参考：各任务 PEFT 配置速查表：一键查表的工厂函数模板

07-04 Adapter 合并与切换：多任务 PEFT 的生产实践 ​

  • 权重合并（Merge）深度解析：merge_and_unload() vs merge_and_unload() 的区别、数学公式验证
  • 多 Adapter 动态切换：add_adapter() / set_adapter() 实现同一基座服务多任务、MultiAdapterRouter 封装
  • Adapter 版本管理与 Hub 社区：push_to_hub() 分享、peft 风格的版本语义、A/B 测试框架
  • 生产部署架构：FastAPI 封装推理服务、lazy loading 延迟加载、请求路由策略
  • 监控与运维：Adapter 切换延迟统计、显存占用追踪、错误率告警

07-05 PEFT 生产最佳实践：从训练到部署的全链路指南 ​

  • 训练全流程最佳实践：数据质量检查清单、基线对比实验设计、学习率调度策略
  • 效果评估：PEFT 真的有效吗？：与 Full FT 的效果差距分析、AutoEvaluator 评估框架、消融实验方法论
  • 性能优化全攻略：ONNX/TensorRT 导出 PEFT 模型、量化 + LoRA 组合方案、推理加速技巧
  • 故障排查手册：NaN loss 排查、显存 OOM 应对、梯度爆炸/消失诊断、LoRA 层未激活问题
  • 持续迭代与版本管理：PEFT 权重的版本控制策略、灰度发布流程、回滚机制

第08章：文本生成与解码策略（5节） ​

定位 ​

生成任务是 LLM 最核心的应用场景。这一章深入讲解从模型输出 logits 到最终文本的全过程，涵盖基础解码、高级策略、长度/重复控制、推测解码与 MoE，以及自定义生成策略的完整技术栈。

08-01 文本生成基础：从 Logits 到 Token ​

  • 回顾 Decoder-only 的前向传播：输入 → Embedding → N 层 Transformer → 最后一个位置的 logits
  • 从 Logits 到概率：Softmax 与温度：
    • 温度参数 T 的作用：T > 1 平坦化分布（更随机），T < 1 锐化分布（更确定）
    • 温度对采样结果的直观影响可视化
  • Greedy Search：每步取 argmax——最快但容易陷入重复循环，适合确定性任务
  • Beam Search：
    • 维护 top-B 个候选序列，Beam Width 选择（1/3-5/10+）与质量-速度权衡
    • Length Penalty 防止偏向短序列
    • Beam Search 的局限（缺乏多样性、开放域效果差、计算开销大 O(B×seq_len×vocab)）
  • Sampling 基础方法：
    • Top-k Sampling：只从 k 个最高概率 token 中采样
    • Top-p（Nucleus）Sampling：动态 k —— 累积概率达到 p 的最小集合
    • Top-k + Top-p 组合：GPT 系列的默认策略
  • 手写完整的 Generate 循环：logits → softmax → sample → append → next iteration 的完整实现
  • HF generate() 方法核心参数速查：max_new_tokens vs max_length、temperature/top_k/top_p、repetition_penalty/length_penalty、early_stopping/eos_token_id、num_beams/streamer 等
  • 常见误区与面试高频问题

08-02 高级解码策略 ​

  • 对比搜索（Contrastive Search）：
    • 核心思想：同时考虑概率（probability）和表示相似度（representation similarity）
    • α 参数平衡概率分数与退化惩罚（max similarity penalty）
    • 在保持连贯性的同时避免重复生成
  • 典型采样（Typical Sampling）：
    • 基于信息熵的自适应阈值 τ
    • 偏好"典型"（信息量适中）的 token，过滤过于可预测或过于意外的选择
    • 与 Top-p 的本质区别：基于熵而非累积概率
  • Min-P 采样：
    • 设置绝对概率下界：P(token) ≥ min_p × P(token_max)
    • 比 Top-p 更灵活，不依赖于概率分布的形状
    • 特别适合低温度场景下的多样性控制
  • 约束 Decoding（Constrained Decoding）：
    • LogitsProcessor 接口：在 softmax 之前修改 logits
    • Outlines 库：JSON Schema / 正则表达式 / CFG 约束输出格式
    • 禁止词过滤（ForbiddenWordsProcessor）：前缀匹配处理多 token 敏感词
  • Diverse Beam Search：
    • num_beam_groups + diversity_penalty 引入组间多样性
    • 解决标准 Beam Search 所有候选趋同的问题
  • 各种解码策略的选择指南：按任务类型（翻译/创意写作/代码生成/对话）推荐最优策略

08-03 长度控制与重复控制 ​

  • 长度控制的完整工具箱：
    • max_new_tokens vs max_length（关键区别：max_length 包含 prompt 长度！）
    • min_new_tokens：强制最短生成长度
    • Length Penalty 数学原理：adjusted_score = cumulative_log_prob / |sequence|^α
    • 自定义 StoppingCriteria：WordCount / ContentLength / RegexMatch / SentenceComplete
  • 重复控制：打破死循环的艺术：
    • repetition_penalty：对已出现 token 的 logits 施加乘性惩罚
    • frequency_penalty vs presence_penalty：累计惩罚 vs 一次性惩罚的区别
    • no_repeat_ngram_size：禁止 n-gram 级别的重复
    • 不对称处理：对原始文本中的重复不应过度惩罚
  • EOS 控制与异常处理：
    • eos_token_id / pad_token_id 的正确设置
    • 强制停止条件：当模型"忘记"生成 EOS 时的兜底机制
    • 异常 token 序列检测与拦截
  • 生产环境 Checklist：
    • Chat 模式配置模板 / Code 生成配置 / Summary 配置 / Translation 配置 / Creative 写作配置

08-04 推测解码与 MoE ​

  • 推测解码（Speculative Decoding）：
    • 核心思想：用小而快的 Draft Model 草拟 tokens，用大而准的 Target Model 并行验证
    • Draft 阶段：小模型快速自回归生成 γ 个候选 tokens
    • Verify 阶段：大模型一次性处理 (prefix + γ tokens)，逐位接受或拒绝
    • 接受/拒绝机制：概率比较 + 余弦相似度辅助评分
    • 加速比分析：在什么条件下 Speculative Decoding 能带来实际加速？
  • Mixture of Experts (MoE)：
    • 稀疏激活架构：总参数多但每次推理只激活部分 Expert
    • Expert + Router 结构：Router 负责将每个 token 分配给最合适的 Expert
    • Load Balancing Loss：防止 Expert 坍塌（某些 expert 永远不被选中）
    • Mixtral 8x7B 架构解析：46.7B 总参数 × 每次 ~12.9B 激活参数
  • 非自回归生成：打破串行限制的新方向（简要介绍）
  • Continuous Batching：服务端的高吞吐批处理策略（vLLM 的核心优化）

08-05 自定义生成策略 ​

  • LogitsProcessor 接口深度解析：
    • BaseLogitsProcessor 抽象类：call(input_ids, scores) → modified_scores
    • LogitsProcessorList：有序链式执行多个 processor
    • 自定义 Processor 的完整生命周期
  • 实战：构建完整的自定义 Processor 工具箱：
    • SensitiveWordFilterProcessor：敏感词过滤（支持多 token 匹配的前缀算法）
    • JSONSchemaProcessor：强制输出合法 JSON（结构约束）
    • StyleControlProcessor：风格控制（boosting 特定词汇的 logits）
    • TopicGuidanceProcessor：主题引导（通过外部知识库调整分布）
  • StoppingCriteria：精确控制何时停止：
    • BaseStoppingCriteria 接口：call(input_ids, scores, **kwargs) → bool
    • CombinedStoppingCriteria：OR 逻辑 / AND 逻辑组合多个条件
    • 自定义 stopping 实战：关键词触发 / 句子数限制 / 内容长度限制
  • 完整的生产级自定义生成 Pipeline：
    • GenerationPolicy 数据class：封装所有生成参数和策略
    • CustomGenerationPipeline 类：统一管理 model/tokenizer/processors/stopping_criteria
    • DebugLogitsProcessor：调试利器——打印每步的 top-k token 及其概率
  • 调试技巧与常见问题：Processor 执行顺序的影响、scores 形状的正确理解、梯度回传注意事项

第09章：模型压缩与推理优化（5节） ​

定位 ​

把模型训练好只是第一步，让它跑得快、占资源少才是生产化的关键。这一章覆盖从量化到蒸馏到编译优化的全套技术。

09-01 模型量化基础 ​

  • 什么是量化？：将浮点权重（FP32/FP16）转换为低精度表示（INT8/INT4/NF4）
  • 量化为什么能加速？：减少内存带宽压力、利用 INT8 矩阵运算硬件加速
  • 量化后的精度损失：一般损失 0.5-2%，但换来了 2-4x 的速度提升和 4x 的显存节省
  • PTQ（Post-Training Quantization）：不需要重新训练的量化
    • Dynamic Quantization（动态量化）：推理时动态量化激活值
    • Static Quantization（静态量化）：需要校准集（calibration dataset）
  • QAT（Quantization-Aware Training）：训练过程中模拟量化误差
  • GPTQ / AWQ / GGUF：LLM 专用的高效量化格式
    • GPTQ：基于近似的二阶信息量化
    • AWQ：激活感知的权重量化（保护重要权重不被过度量化）
    • GGUF：llama.cpp 使用的量化格式（支持 Q4_K_M / Q5_K_M / Q8_0 等多种等级）
  • 代码实操：用 bitsandbytes 进行 4-bit / 8-bit 加载和推理

09-02 模型蒸馏（Knowledge Distillation） ​

  • Teacher-Student 范式：大模型（teacher）指导小模型（student）学习
  • 蒸馏的三种形式：
    • Response-based Distillation（软标签 KD）：student 模仿 teacher 的输出分布
    • Feature-based Distillation：student 模仿 teacher 的中间层表示
    • Relation-based Distillation：保持样本之间的关系结构一致
  • DistilBERT 案例：BERT 的蒸馏版本——参数少 40%、速度快 60%、保留 97% 性能
  • 蒸馏的实际操作：
    • 温度参数 T（软化概率分布）
    • KL Divergence 损失函数
    • Teacher 模型的冻结策略
    • 中间层蒸馏的对齐方法
  • 代码实操：用 BERT-base 作为 teacher，蒸馏出一个 2-layer 的 student 模型

09-03 模型剪枝（Pruning） ​

  • 非结构化剪枝：将权重矩阵中的小值置零（稀疏化）
    • Magnitude Pruning：按绝对值大小裁剪
    • Movement Pruning：结合梯度和幅度的裁剪
    • 问题：需要特殊硬件/库支持才能获得加速（稀疏矩阵运算）
  • 结构化剪枝：移除整个结构单元（层/头/神经元）
    • Attention Head Pruning：移除不重要的注意力头
    • Neuron Pruning：移除 FFN 中不重要的神经元
    • Layer Dropping：跳过某些层（类似 Skip Layer）
  • Pruning + Finetuning 的迭代：Lottery Ticket Hypothesis（彩票假说）
  • 代码实操：对一个 BERT 模型进行 30% 的结构化剪枝并恢复精度

09-04 推理加速引擎 ​

  • TorchScript：将 PyTorch 模型编译为中间表示，优化算子融合
  • Torch Compile（torch.compile）：PyTorch 2.0 的即时编译器（基于 Triton/dynamo）
    • 图捕获 → 图优化 → 代码生成
    • 常见模式和坑：graph break / dynamic shape / recompilation
  • ONNX Runtime：
    • 导出 ONNX 格式：torch.onnx.export()
    • ONNX Graph Optimization（常量折叠、算子融合、死代码消除）
    • ONNX Runtime 的 Execution Provider（CPU / CUDA / TensorRT / OpenVINO）
  • vLLM：
    • PagedAttention：解决 KV Cache 的内存碎片问题
    • Continuous Batching：动态批处理（vs 静态 batching 的浪费）
    • 高吞吐推理服务的最佳选择
  • TensorRT-LLM：NVIDIA 的终极推理优化方案
  • llama.cpp：纯 C++ 的推理引擎（GGUF 格式），适合边缘设备和消费级硬件
  • Benchmark 对比：同一模型在不同引擎上的首 token latency / throughput / 显存占用对比表

09-5 模型部署与服务化 ​

  • FastAPI 封装推理服务：
    • 同步接口（简单场景）
    • 异步接口（高并发场景）
    • Streaming SSE 接口（生成式任务）
  • 模型加载策略：
    • 启动时加载（冷启动慢但稳定）
    • 懒加载（首次请求时加载）
    • 预热（warmup）——跑几轮 dummy inference 让 JIT 编译完成
  • Batching 策略：
    • Static Batching：固定 batch size，简单但浪费
    • Dynamic Batching：等待窗口内收集请求再批量处理（vLLM 的做法）
    • Continuous Batching：请求完成后立即释放位置给新请求
  • 缓存策略：相同输入的 KV Cache 复用（prefix caching）
  • 多模型服务：
    • 模型路由（Router）：根据请求特征分发到不同大小的模型
    • Cascade Inference：先用小模型尝试，置信度不足时升级到大模型
    • Speculative Decoding：用小模型草拟 draft tokens，大模型并行验证
  • Docker + Kubernetes 部署：容器化、HPA 自动扩缩容、GPU 资源调度
  • 监控与告警：P99 延迟 / 吞吐量 / GPU 利用率 / 错误率

第10章：多模态与前沿方向（5节） ​

定位 ​

Transformer 不仅改变了 NLP，还席卷了 CV、语音、视频、多模态等领域。最后一章从视觉 Transformer 出发，依次覆盖音频理解、多模态融合、视频理解，最后展望 Mamba/RWKV/MoE 等新兴架构的前沿趋势。

10-01 视觉 Transformer（ViT）与视觉-语言模型 ​

  • CNN 的瓶颈与 ViT 的崛起：局部感受野限制、归纳偏置、长距离依赖问题
  • ViT 核心思想：图片 → patch 切分 → 每个 patch 当成 token → 送入标准 Transformer Encoder
  • ViT 架构详解：Patch Embedding + Position Embedding + [CLS] token，配置参数解读
  • ViT 变体家族：DeiT / Swin Transformer / MAE（95%掩码率） / DiT / SAM
  • CLIP 与 SigLIP：图文对齐的桥梁：
    • CLIP 对比学习（InfoNCE Loss）、双塔架构、Zero-Shot Classification
    • SigLIP 改进的 sigmoid 损失
    • CLIP 特征提取实战：零样本分类 + 图像-文本相似度检索

10-02 音频/语音模型 ​

  • 语音处理的完整链路（4 步）：音频输入 → 预处理 → Mel Spectrogram 特征提取 → 编码/解码 → 文本输出
  • Mel Spectrogram 直觉：STFT → Mel Scale（模拟人耳非线性感知）
  • Whisper 架构与实战：Encoder-Decoder + log-Mel 输入，68万小时弱监督，多任务训练（ASR/翻译/语种识别/时间戳），tiny~large 规模选择，transcription pipeline 使用
  • Wav2Vec2 / HuBERT / WavLM 自监督语音预训练对比

10-03 多模态融合 ​

  • 三种融合层级：特征级（拼接/门控/Cross-Attn） vs 表示级（CLIP 对比学习） vs 生成/交互级（Flamingo 交错注意力）
  • CLIP 训练深入：InfoNCE Loss 推导、IBN、可学习温度 T、Batch 组成影响
  • Flamingo 与 Gated Cross-Attention：门控信号控制何时看图像、Perceiver Resampler 压缩、Few-shot 能力
  • ImageBind 统一 8 种模态嵌入空间：图像/热成像/音频/波形/深度/视频/点云/表格
  • HF 实战：构建多模态检索系统

10-04 视频理解 ​

  • 时间维度的核心挑战：运动、时序依赖、因果性建模
  • 帧采样策略：均匀 / head_heavy / keyframe 检测；3D Patch Embedding vs 2D+Time Embedding
  • VideoMAE（95%超高掩码率+Tubelet） / InternVideo（视频-语言预训练 SOTA）
  • VideoLLaVA（每帧编码→聚合→LLM） / AViD（自适应帧选择）
  • 常见任务：动作识别流水线 / Video Captioning / VideoQA（8种问题类型）
  • 常见陷阱：帧采样偏差、长短视频处理差异、视觉-文本不对齐
  • 性能优化：VideoFeatureCache LRU缓存 / VisualTokenCompressor Perceiver Resampler压缩

10-05 新兴架构 ​

  • Transformer 三大瓶颈：O(n²) 复杂度 / KV Cache 线性增长 / 硬性长度限制
  • Mamba / SSM：RNN→SSM 连续形式→ZOH离散化→递推；Mamba 动态参数(Δ/B/C)选择性记忆；LoRALayer+MambaModel 完整实现；Mamba vs Transformer 10维度对比
  • RWKV：R/W/K/V 替代 Q/K/V；并行+RNN 双模式运行；RWKVTokenMatcher+RWKVModel 完整实现
  • Jamba 混合架构：6层Mamba+1层Attention+1层Mamba（87%高效+13%推理力）+MoE FFN
  • MoE 深入：三代路由器演进(V1→V2 LoadBalancing→V3 DeepSeek-MoE共享专家隔离)；ExpertRouterV3 实现
  • RoPE v2：外推本质原因；5种变体对比(Original/NTK/YaRN/Dynamic/AliBi)；DynamicNTKRoPE 实现
  • 落地建议：ArchitectureEvaluator 6场景推荐 + 迁移检查清单8项

附录 ​

A. 常用命令速查表 ​

  • 模型下载/加载/保存
  • 数据集操作
  • 训练/推理常用参数
  • Hub 操作（upload / download / login）

B. GPU 显存估算速查 ​

  • 不同模型规模（7B/13B/70B）在不同精度下的显存需求
  • 训练 vs 推理的显存差异
  • Gradient Checkpointing 的显存-时间权衡
  • 常见 OOM 错误及解决方案

C. Hugging Face Hub 使用指南 ​

  • 模型卡（Model Card）规范
  • 组织与权限管理
  • 私有仓库与企业版
  • Spaces（Demo 部署）
  • Inference API

D. 面试高频问题索引 ​

  • 按主题分类的面试问题清单（附对应章节编号）
    • Transformer 原理类
    • 微调策略类
    • 推理优化类
    • 工程实践类

E. 推荐阅读与资源 ​

  • 必读论文列表（按难度分级）
  • 开源项目推荐
  • 在线课程 / 视频 / 博客
  • 社区资源（Discord / Forums / Twitter/X）

基于 MIT 许可发布

版权所有 © 2024-至今