本专题覆盖传统机器学习、深度学习、自然语言处理、计算机视觉、推荐系统与大语言模型应用，以及完整的 MLOps 工程化实践。
内容导航
| 序号 | 文章 | 核心知识点 |
|---|---|---|
| 01 | 机器学习基础概论 | ML 范式、特征工程、评估指标、过拟合与正则化 |
| 02 | 监督学习算法详解 | 回归、分类、决策树、集成学习、SVM |
| 03 | 无监督学习与降维 | 聚类、PCA、t-SNE、关联规则 |
| 04 | 神经网络基础 | 感知机、反向传播、激活函数、优化器 |
| 05 | 卷积神经网络 CNN | 卷积、池化、经典网络 LeNet 到 ResNet |
| 06 | RNN/LSTM 与 Transformer | 序列模型、注意力机制、Self-Attention |
| 07 | 自然语言处理 NLP | 词向量、BERT、GPT、文本任务 |
| 08 | 计算机视觉 | 目标检测、图像分割、OCR、生成模型 |
| 09 | 推荐系统 | 协同过滤、矩阵分解、深度推荐模型 |
| 10 | 特征工程实战 | 特征选择、编码、构造、时间序列特征 |
| 11 | 模型部署与推理优化 | ONNX、TorchServe、量化、蒸馏、边缘部署 |
| 12 | MLOps 与实验管理 | MLflow、DVC、AutoML、CI/CD for ML |
| 13 | 大语言模型应用开发 | Prompt Engineering、RAG、Fine-tuning、Agent |
| 14 | MLOps 模型监控与可观测性 | 漂移检测、LLM 评估、自动回滚、多级告警 |
| 15 | RLHF 与 DPO 训练实战 | PPO 算法、奖励模型、直接偏好优化、评估框架 |
| 16 | AI Agent 生产化部署架构 | Prompt 管理、工具安全、流式响应、成本优化 |
| 17 | 多模态模型优化与部署 | CLIP、Stable Diffusion、TensorRT ONNX、图像生成优化 |
| 18 | AI 工程化基础设施 | 特征平台、模型注册、Kubeflow 推理流水线、数据血缘 |
| 19 | RAG 架构全景与生产实践 | RAG 演进、查询改写、混合检索、Reranker、RAGAS 评估、Agentic RAG |
| 20 | 大模型高效微调 | LoRA/QLoRA 原理、PEFT、微调数据构造、SFT vs DPO |
| 21 | 向量数据库选型与检索优化 | ANN/HNSW/IVF/PQ、主流方案对比、混合过滤、容量规划 |
| 22 | 模型评估与基准 | 分类/回归指标、BLEU/ROUGE、LLM-as-Judge、A/B 测试、模型卡 |
| 23 | 模型压缩实战 | 量化/剪枝/蒸馏、低秩分解、ONNX/TensorRT 部署优化 |
| 24 | 时序预测实战 | ARIMA/ETS、LightGBM 特征工程、LSTM/TCN/Transformer、滚动预测 |
| 25 | LLM 推理优化全栈指南 | KV Cache、PagedAttention、连续批处理、量化、投机解码、前缀缓存 |
| 26 | 分布式训练实战 | DDP、混合精度、梯度累积、ZeRO/FSDP、张量/流水线并行、断点续训 |
| 27 | 数据工程进阶：标注体系、合成数据与数据飞轮 | 标注质量、主动学习、弱监督、合成数据、数据飞轮 |
| 28 | MLOps 治理与可复现 | 模型注册、实验跟踪、漂移监控、金丝雀发布、合规审计 |
| 29 | Embedding 深入 | 对比学习、双塔架构、难负样本、相似度度量、向量索引 |
| 30 | 类别不平衡与异常检测 | SMOTE、代价敏感、Focal Loss、隔离森林、半监督、PR 评估 |
| 31 | 图神经网络（GNN） | 消息传递范式、GCN/GAT/GraphSAGE、过平滑、采样与大图训练 |
| 32 | 语音与音频 AI | ASR（CTC/Conformer/Whisper）、TTS、声学特征、流式识别与评测 |
| 33 | 强化学习实战 | MDP、Q-Learning/DQN、策略梯度与 PPO、Actor-Critic、RLHF 中的 RL |
| 34 | 提示工程与上下文工程 | 指令结构、few-shot、思维链、结构化输出、上下文压缩与评测 |
| 35 | 实验追踪与模型注册 | MLflow/W&B、指标与产物管理、模型注册、超参搜索、可复现性 |
| 36 | 因果推断与实验评估 | 潜在结果框架、DAG 与混淆、倾向得分、DID、A/B 实验与因果 ML |
| 37 | 扩散模型原理与工程实践 | 前向加噪与反向去噪、DDPM/DDIM 采样、Latent Diffusion、条件控制与微调、推理加速与部署 |
| 38 | 智能体记忆与上下文工程 | 短期/长期记忆分层、向量与结构化记忆、检索与遗忘策略、上下文压缩、记忆一致性与评测 |
| 39 | 大模型护栏与安全工程 | 输入输出过滤、提示注入防护、越狱检测、内容分级与合规、工具调用沙箱、红队与持续评测 |
| 40 | 混合专家模型架构 | 稀疏 MoE 与门控路由、负载均衡与专家坍缩、容量因子与丢 token、并行切分策略、训练与推理取舍 |
| 41 | 视觉 Transformer 与自监督预训练 | Patch 嵌入与位置编码、ViT/Swin 结构对比、MAE/DINO 自监督、微调与蒸馏、部署优化 |
| 42 | 联邦学习与隐私保护训练 | 横向/纵向联邦、FedAvg 与聚合策略、通信压缩、异步更新、安全聚合与差分隐私、Flower 落地 |
| 43 | 模型服务化：Triton、vLLM 与 TGI 推理引擎 | 模型仓库与配置、动态批处理与连续批处理、PagedAttention 显存管理、张量并行切分、压测指标与扩缩容 |
| 44 | Agent 工具调用与函数调用工程 | 函数调用协议与消息格式、工具 Schema 与描述设计、ReAct 与并行调用循环、参数校验与错误重试、工具路由与安全边界 |
| 45 | 多智能体协作与编排 | 编排拓扑（顺序/层级/群聊/黑板）、角色定义与共享状态、消息协议与冲突解决、终止与收敛控制、成本延迟权衡 |
| 46 | 模型可解释性：SHAP、LIME 与注意力归因 | 全局与局部视角、排列重要性、KernelSHAP/TreeSHAP、LIME 局部近似、梯度类归因、忠实度与稳定性评估 |
| 47 | 数据版本控制与血缘：DVC 与 LakeFS | DVC 数据与流水线版本化、LakeFS 零拷贝分支、血缘采集与影响分析、选型对比与落地要点 |
| 48 | 排序学习与搜索召回排序系统 | 召回-排序漏斗结构、pointwise/pairwise/listwise 范式、LambdaMART 与神经排序、NDCG/MRR/MAP 评估、特征穿越 |
AI/ML 技术栈全景图
现代人工智能流水线可分为四层架构，每一层承载着独特的技术挑战与工程难点：
应用层
├── 对话系统 / 智能客服 / 代码辅助
├── 推荐引擎 / 搜索排序 / 广告预估
├── 图像生成 / 视频理解 / 自动驾驶
└── RAG / Agent / 多模态应用
推理层
├── 模型服务化 (TorchServe / Triton / vLLM)
├── 推理引擎加速 (ONNX Runtime / TensorRT / OpenVINO)
├── 量化/剪枝/蒸馏（边缘优化）
└── 动态批处理/投机解码
训练层
├── 分布式训练 (DDP / FSDP / DeepSpeed / Megatron-LM)
├── 超参优化与 AutoML
├── 实验跟踪与模型注册
└── 预训练 / 微调 / 强化学习 (RLHF)
数据层
├── 数据采集与清洗 (Scrapy / Pandas / Spark)
├── 标注与质检 (Label Studio / 主动学习)
├── 特征存储 (Feature Store / Feast / Tecton)
└── 数据版本管理 (DVC / LakeFS)
深度学习框架选型对比
| 维度 | PyTorch | TensorFlow | JAX | PaddlePaddle |
|---|---|---|---|---|
| 易用性 | 动态图直观，学术界首选 | 静态图 Keras API 对新手友好 | 函数变换式需函数式思维 | 中文文档完善，产业落地成熟 |
| 生态 | torchvision/huggingface 极其丰富 | TFX/TF Lite/TF.js 全链路 | Google 与 DeepMind 主推 | 飞桨星河社区、文心大模型底座 |
| 分布式 | DDP + FSDP 成熟 | Strategy API 统一封装 | pmap/pjit 编译下性能极致 | Fleet 大规模分布式训练 |
| 部署 | torch.compile / ONNX / ExecuTorch | TF Serving / TFLite / TF.js | jax2tf / orbax 导出 | Paddle Inference / Lite |
| 典型场景 | 研究实验、NLP、CV | 生产级大规模推荐、移动端 | 高阶微分、物理仿真、科学计算 | 中文 NLP、国产算力适配 |
选型建议：研究阶段优先 PyTorch，生产大规模推荐考虑 TensorFlow，追求极致数学性能选 JAX，国产化替代与中文场景建议 PaddlePaddle。
大模型时代的技术演进
人工智能范式的变迁经历了四个关键节点：
CNN 时代（2012-2015）：AlexNet 在 ImageNet 上一鸣惊人，卷积神经网络成为计算机视觉的标准解法。VGG、GoogLeNet、ResNet 不断深化网络架构，残差连接破解了梯度消失难题。这一时期奠定了深度学习在感知任务中的统治地位，也为后续更大规模网络积累了工程经验。
RNN/LSTM 时代（2014-2017）：序列建模成为 NLP 的核心，LSTM 与 GRU 通过门控机制缓解了长程依赖问题。Seq2Seq 架构配合注意力机制首次实现端到端机器翻译，但循环结构的串行特性始终限制了并行训练效率。
Transformer 时代（2017-2020）：《Attention Is All You Need》提出了纯注意力架构，Self-Attention 的自回归特质和 Encoder-Decoder 设计彻底改变了 NLP。BERT 的双向预训练开创了大模型微调范式，GPT 系列则探索生成式预训练的无监督之路。这一时期参数规模从亿级跃升至千亿级。
多模态与 Agent 时代（2022 至今）：GPT-4 突破语言边界，视觉-语言联合推理成为常态。扩散模型（Diffusion Models）在图像、视频、音频生成领域百花齐放。同时 Agent 架构将大模型作为推理中枢，调用工具链与外部 API 完成复杂任务，标志着 AI 从感知智能向认知智能跃迁。多模态大模型实现了图文音视频的统一表征与生成，CLIP、Stable Diffusion、GPT-4V 系列正在重塑内容创作与交互方式。
模型部署与推理优化方法论
将训练好的模型推向生产环境，核心挑战在于延迟、吞吐与资源占用之间的平衡。
量化（Quantization）：将 FP32/FP16 权重压缩至 INT8 甚至 INT4，借助训练后量化（PTQ）或量化感知训练（QAT）降低显存与带宽。代表工具 llama.cpp 与 AWQ、GPTQ 在消费级 GPU 上运行百亿级模型成为可能。
剪枝（Pruning）：移除冗余连接或整个神经元块，结构化剪枝利于硬件加速，非结构化剪枝精度更高但需稀疏算子支持。Magnitude pruning 与 Lottery Ticket Hypothesis 是经典理论支撑。
知识蒸馏（Distillation）：大模型作为教师，小模型作为学生，通过软标签（soft target）传递暗知识。DistilBERT 与 MiniLLM 证明蒸馏后的小模型在特定任务上可接近大模型九成以上性能，部署成本却只有数百分之一。多教师蒸馏与在线蒸馏是进阶方向。
编译优化：利用 TVM、MLIR、torch.compile、XLA 对计算图进行算子融合、内存布局重排与自动调优，可将推理速度再提升数倍。对于大语言模型，Continuous Batching、PagedAttention（vLLM）、投机采样（Speculative Decoding）进一步突破吞吐瓶颈。
MLOps 成熟度模型与工具链地图
MLOps 不是简单的 DevOps 平移，而是覆盖数据、模型、实验与服务的完整生命周期治理。
L0 手动阶段：Jupyter Notebook 实验、脚本导出模型、手动部署。适合原型探索，但不可复现、难协作。
L1 可复现阶段：版本管理引入。代码用 Git，数据用 DVC，特征用 Feast，实验环境用 Docker 固化。核心变化是让每次实验结果可回溯、可复现。
L2 自动化阶段：CI/CD 流水线落地。MLflow 或 Weights & Biases 追踪实验的超参与指标；TFServing、BentoML 或 Seldon Core 自动化模型上线；单元测试覆盖数据管道与模型推理，避免训练-服务偏差。
L3 持续监控阶段：上线只是开始。Evidently AI、Arize、Fiddler 监控数据漂移与概念漂移；阴影部署与 Champion-Challenger 机制支持无风险 A/B 测试；当性能劣化触发阈值时自动回滚或触发重训练。
L4 全自动化阶段：AutoML 驱动的特征工程、超参搜索、模型选择与部署形成闭环。人类只需定义业务目标与约束条件，系统自主完成剩余工作。
# 典型 MLOps 实验追踪示例
import mlflow
with mlflow.start_run():
mlflow.log_param("model", "resnet50")
mlflow.log_param("lr", 1e-3)
mlflow.log_metric("val_acc", 0.942)
mlflow.pytorch.log_model(model, "model")
学习路线建议
阶段一：数学基础 → Python/NumPy/Pandas → 机器学习基础
阶段二：监督学习 → 无监督学习 → 特征工程 → 模型评估
阶段三：神经网络 → CNN → RNN/Transformer → NLP/CV
阶段四：推荐系统 → 模型部署 → MLOps → LLM 应用
前置知识
- Python 编程基础
- 线性代数、概率论与统计基础
- NumPy、Pandas、Matplotlib 等科学计算库
相关专题
- 系统架构设计 — 高并发与分布式系统
- 云原生与 DevOps — 模型服务容器化部署
- LLM API 基础 — 大模型接口设计与调用
- 提示工程 — Prompt 设计模式与优化