大语言模型重塑了软件开发范式。本专题从
requests.post()调用第一个 API 开始，到部署支持万级并发的 vLLM 推理集群，覆盖 LLM 应用开发的全生命周期。
📚 配套书稿系列
《AI Agent 开发》三卷本已全部上线（入门 61 篇 / 实战 55 篇 / 高级 34 篇，共 150 篇）：从零手写 Agent 引擎
minagent，到工程化的研究助理服务ResearchCopilot，再到用 PydanticAI / Claude Agent SDK / OpenAI Agents SDK / smolagents 框架重写与生产化加固。书稿与专题的分工：书稿是「递进教学路径 + 可运行的完整示例」，按章节顺序从头读到尾；本专题是「单点深挖」，按主题查阅。两者互补，不重复。
1. LLM 基础与 API 调用
| 文章 | 深度 | 说明 |
|---|---|---|
| LLM API 基础调用指南 | ⭐⭐⭐⭐ 深度 | OpenAI/Anthropic/Google API 对比、流式输出、Token 管理、多模态、FastAPI 服务端封装 |
| LLM 流式输出与实时交互工程 | ⭐⭐⭐⭐ 深度 | SSE/WebSocket 协议选型、增量解析、TTFT 首 token 延迟、中断与超时重试、流式渲染与可观测性 |
交叉链接：
- Python Web 框架实战 — FastAPI 搭建 AI 服务的基础
- Python 类型系统与 Pydantic — 结构化输出与数据校验
2. Prompt 工程与 Function Calling
| 文章 | 深度 | 说明 |
|---|---|---|
| Prompt 工程与 Function Calling 实战 | ⭐⭐⭐⭐ 深度 | Few-shot/CoT/ReAct、OpenAI Function Calling、Pydantic 结构化输出、提示词注入防御、eval 框架 |
| 上下文工程实战：从上下文窗口到长上下文管理的工程体系 | ⭐⭐⭐⭐⭐ 深度 | Lost in the Middle 与黄金位布局、长文档检索/Map-Reduce/滑动窗口三级策略、上下文压缩、Prompt Caching、记忆分层调度、消融评估 |
| 推理增强技术工程化：CoT/ToT/ReAct | ⭐⭐⭐⭐ 深度 | 思维链 CoT、自洽性采样、思维树 ToT、ReAct 的工程化实现、成本延迟权衡与评测 |
| 结构化输出与受限解码：JSON Schema 与语法约束 | ⭐⭐⭐⭐ 深度 | Prompt 约束、Function Calling 与受限解码（Constrained Decoding）对比，JSON Schema 编译为 GBNF/EBNF 语法，Outlines/XGrammar/llama.cpp/vLLM 实战配置与性能开销 |
3. RAG 检索增强生成
| 文章 | 深度 | 说明 |
|---|---|---|
| RAG 架构实战：从零搭建知识问答系统 | ⭐⭐⭐⭐⭐ 深度 | Embedding 模型选型、文档分块策略、混合检索、LangChain/LlamaIndex RAG 对比、端到端 FastAPI 实现 |
| RAG 高级优化：查询扩展、重排序与混合检索 | ⭐⭐⭐⭐⭐ 深度 | HyDE/Query2Doc 查询扩展、Cross-encoder/ColBERT 重排序、Dense+Sparse+图混合检索、端到端流水线 |
| Embedding 与 Reranker 深度调优：检索质量的决定性引擎 | ⭐⭐⭐⭐⭐ 深度 | Bi-Encoder/Cross-Encoder 两段式架构、模型选型矩阵、混合检索与 RRF 融合、Query 改写/HyDE、Reranker 微调与难负样本挖掘、NDCG 评测 |
| GraphRAG 实战：从向量检索到知识图谱增强检索 | ⭐⭐⭐⭐⭐ 深度 | 图谱建模、LLM 实体关系抽取、局部/全局检索（社区摘要）、向量+图谱混合架构、多跳推理评测、Neo4j 实战 |
| 混合检索 RAG：BM25 与向量融合 | ⭐⭐⭐⭐ 深度 | 稀疏 BM25 与稠密向量检索原理、RRF 融合算法、重排器、查询改写与混合检索质量评估 |
| RAG 评估体系：召回、忠实度与自动化指标 | ⭐⭐⭐⭐ 深度 | 检索侧 Recall@k/MRR/NDCG、生成侧 Faithfulness/Answer Relevance/Context Precision，Ragas 实战、LLM-as-Judge 偏差校准、评估集构建与在线 A/B |
交叉链接：
- PostgreSQL 向量扩展 — PGVector 作为向量存储（如需要）
4. 向量数据库
| 文章 | 深度 | 说明 |
|---|---|---|
| 向量数据库对比与集成指南 | ⭐⭐⭐⭐ 深度 | PGVector/Qdrant/Chroma/Milvus/Weaviate 选型矩阵、Python SDK 实战、性能基准 |
交叉链接：
- Rust AI 与大模型集成 — Qdrant 的 Rust 实现与高性能检索
5. 模型微调
| 文章 | 深度 | 说明 |
|---|---|---|
| 模型微调与 PEFT：LoRA、QLoRA 实战 | ⭐⭐⭐⭐⭐ 深度 | LoRA/QLoRA/DoRA 原理、HuggingFace PEFT+TRL、Unsloth 训练加速、数据集准备、GGUF/AWQ 部署转换 |
交叉链接：
- Python 数据科学与 AI 实战 — PyTorch 推理基础与 GPU 环境配置
6. AI Agent 与多智能体协作
| 文章 | 深度 | 说明 |
|---|---|---|
| AI 智能体（Agent）架构设计：从 ReAct 到自主决策系统 | ⭐⭐⭐⭐⭐ 深度 | 感知-推理-记忆-工具-执行五大组件、ReAct/Reflexion/Plan-and-Solve 推理模式、完整可运行代码与生产护栏 |
| 多智能体协作（Multi-Agent）：从团队协作到自主组织 | ⭐⭐⭐⭐⭐ 深度 | CrewAI/AutoGen/LangGraph 框架实战、通信协议、共识机制、并发安全 |
| Agent 工具调用与 Function Calling | ⭐⭐⭐⭐ 深度 | OpenAI/Claude/Google 工具标准、Schema 设计最佳实践、跨平台兼容层代码 |
| Agent 工作流编排设计：DAG、状态机、暂停恢复 | ⭐⭐⭐⭐⭐ 深度 | LangGraph 图编排、Temporal 长任务持久化、事件总线驱动、人类介入 Interrupt 机制 |
| 人机协作模式（Human-in-the-Loop）：审批、审核与接管 | ⭐⭐⭐⭐ 深度 | 审批流/审核反馈/接管仲裁三类模式、风险评分、审计日志链式哈希验证 |
| Agent 记忆系统实战：从上下文窗口到长期记忆的持久化架构 | ⭐⭐⭐⭐⭐ 深度 | 工作/情景/语义/程序四类记忆、SQLite+向量库混合存储、记忆提取 Pipeline、遗忘策略、Mem0/LangGraph 对比、记忆安全与防污染 |
历史参考：
7. 模型上下文协议 MCP
| 文章 | 深度 | 说明 |
|---|---|---|
| MCP 协议完整指南：四大原语与互操作性革命 | ⭐⭐⭐⭐ 深度 | Resources/Prompts/Tools/Sampling、协议分层、与 Function Calling 对比、最小 Server 示例 |
| MCP Server 开发实战：SQLite / 文件系统 / GitHub | ⭐⭐⭐⭐⭐ 深度 | 三类生产级 Server 实现、生命周期管理、安全沙箱、Docker 部署、单元测试 |
| MCP 客户端集成：Claude Desktop / Cline / Continue | ⭐⭐⭐⭐ 深度 | 四种 Client 配置详解、工具发现、权限管理、故障排查、自建 Agent 集成代码 |
| MCP 工具生态与最佳实践 | ⭐⭐⭐⭐ 深度 | 30+ Server 速查表、场景化选型、四维评估框架、自建 Server 脚手架 |
8. 多模态 AI 开发
| 文章 | 深度 | 说明 |
|---|---|---|
| 多模态图像理解：GPT-4o Vision 到开源视觉大模型 | ⭐⭐⭐⭐⭐ 深度 | ViT/CLIP 编码、五大模型 API 对比、VQA/OCR/图表/UI 自动化四大场景代码 |
| 多模态视频分析：关键帧提取到时序理解 | ⭐⭐⭐⭐⭐ 深度 | 场景检测、Gemini 原生视频、Video-LLaMA 本地方案、视频摘要/动作识别/异常检测 |
| 多模态语音合成与识别：Whisper + TTS + 实时交互 | ⭐⭐⭐⭐ 深度 | ASR/TTS/VAD 三大组件、WebRTC 实时管道、语音克隆 XTTS v2、成本估算 |
| 多模态生成式 AI：文生图/视频与图生图 | ⭐⭐⭐⭐ 深度 | DALL-E3/SDXL/Flux/Sora/Runway、ControlNet/IP-Adapter、批量流水线、版权伦理 |
| 实时语音 Agent：全双工对话与低延迟链路 | ⭐⭐⭐⭐⭐ 深度 | VAD 端点检测、流式 ASR、LLM 首 token 优化、流式 TTS 与打断（Barge-in），端到端延迟预算表、WebRTC/WebSocket 传输选型、全双工状态机与容量规划 |
9. 推理部署与优化
| 文章 | 深度 | 说明 |
|---|---|---|
| LLM 推理部署与优化：vLLM、量化与长上下文 | ⭐⭐⭐⭐⭐ 深度 | vLLM PagedAttention vs TGI vs llama.cpp、GGUF/AWQ/GPTQ/FP8 量化、动态批处理、FastAPI + vLLM 完整部署 |
| LLM 语义缓存与模型路由：成本治理的两大杠杆 | ⭐⭐⭐⭐⭐ 深度 | 语义缓存命中阈值校准、缓存一致性/击穿防护、三级路由（规则+分类器+升级）、LiteLLM 网关、影子对比与 ROI 测算 |
| LLM 成本治理与 Token 优化 | ⭐⭐⭐⭐ 深度 | 计费模型拆解、缓存命中、模型路由、输入压缩、批处理、成本预算与监控看板 |
| 模型路由与选型：大小模型分层调度 | ⭐⭐⭐⭐ 深度 | 任务分级、大小模型路由、级联调度、失败降级与性价比选型矩阵 |
| 模型量化与蒸馏：INT8/INT4 与部署权衡 | ⭐⭐⭐⭐ 深度 | 对称/非对称量化、per-channel 与 group-wise 粒度、GGUF/AWQ/GPTQ/NF4/FP8 格式对比，llama.cpp 与 AutoAWQ 实操、知识蒸馏与剪枝、部署权衡与评估 |
| 长上下文优化：注意力稀疏化与 KV Cache 管理 | ⭐⭐⭐⭐⭐ 深度 | 注意力稀疏化（滑动窗口/注意力汇/H2O 驱逐）、KV Cache 管理（PagedAttention/前缀共享/KV 量化）、位置编码外推（RoPE scaling/YaRN），附显存计算与评估方法 |
交叉链接：
- Docker 容器化最佳实践 — LLM 推理容器化部署
- GitHub Actions CI/CD — 模型自动化评测流水线
10. 安全、评估与治理
| 文章 | 深度 | 说明 |
|---|---|---|
| LLM 安全、评估与治理 | ⭐⭐⭐⭐ 深度 | 威胁建模、Ragas/deepeval 评估框架、内容审核、PII 检测、EU AI Act / NIST 合规 |
| 模型评估与 LLMOps：从离线评测到生产监控的闭环体系 | ⭐⭐⭐⭐⭐ 深度 | Golden Set 设计、RAGAS 四维指标、LLM-as-a-Judge 可靠性校准、CI 回归门禁、生产采样监控、成本追踪与模型路由 |
| Prompt Injection 防御实战：攻击分类与四层防御体系 | ⭐⭐⭐⭐⭐ 深度 | 直接/间接/越狱/泄露四类攻击、输入过滤/模板硬化/输出校验/沙箱四层防御、完整防御代码 |
| AI 安全红队测试：自动化漏洞扫描与对抗评估 | ⭐⭐⭐⭐⭐ 深度 | Garak/PyRIT 框架实战、对抗样本变异引擎、风险评分矩阵、CI/CD 集成方案、合规基线 |
| LLM 输出护栏与内容安全 | ⭐⭐⭐⭐ 深度 | 输出护栏分层架构、格式强制、PII 脱敏、内容过滤、分类器与合规落地 |
11. 开源生态与本地运行
| 文章 | 深度 | 说明 |
|---|---|---|
| LLM 本地部署与私有模型 | ⭐⭐⭐⭐⭐ 深度 | Ollama、llama.cpp、vLLM、模型量化、硬件选型、OpenAI 兼容 API |
| LLM 商业应用开发 | ⭐⭐⭐⭐⭐ 深度 | AI 产品化方法论、定价模型、PMF 验证、成本优化、合规与团队构建 |
| AI Agent 产品设计方法论 | ⭐⭐⭐⭐⭐ 深度 | Agent 产品架构、UX 模式、记忆设计、多智能体协作、信任与透明度 |
| 端侧推理：移动端与浏览器部署 | ⭐⭐⭐⭐ 深度 | iOS Core ML/MLX、Android NNAPI/Vulkan、浏览器 WebGPU/WASM SIMD 三条路线，模型格式与量化档位选型、内存水位与热降频管理、端云协同与性能实测 |
历史参考：
- OpenAI API 基础调用指南 — API 开发
- 模型微调与 PEFT — 本地模型训练
- LLM 推理部署与优化 — 本地推理服务器
相关工具：
- HuggingFace Hub — 模型与数据集托管
- Ollama — 一行命令本地运行大模型（
ollama run llama3） - LM Studio — 桌面 GUI 模型管理
- llama.cpp — CPU/GPU 混合推理，GGUF 格式标准
- Eino — 字节跳动 Golang 大模型应用框架 大语言模型应用开发框架Eino介绍
12. 已有参考资源
- 机器学习的知识结构 — 基础数学与经典算法
- 大语言模型应用开发框架Eino介绍 — Golang 生态的 LLM 框架
专题横向对比
| 维度 | LLM / AI | Python | Rust |
|---|---|---|---|
| 开发语言 | Python 为主 | Python | Rust |
| 训练生态 | ⭐⭐⭐⭐⭐ HuggingFace | ⭐⭐⭐⭐⭐ PyTorch/NumPy | ⭐⭐⭐ Candle（推理为主） |
| 推理性能 | vLLM / TensorRT（生产） | uv + 标准库 | ⭐⭐⭐⭐⭐ 原生性能 |
| 部署体积 | 数 GB（含模型） | 轻量（服务层） | < 50MB（二进制） |
| 并发能力 | vLLM PagedAttention | asyncio / multiprocessing | async/await + 零成本抽象 |
| 适合场景 | AI 应用层、RAG、Agent | 通用后端、数据管道 | 推理服务、向量数据库基础设施 |
提示：LLM 专题文章总计 46 篇（覆盖 LLM API、Prompt 工程与上下文工程、RAG（4篇，含 Embedding/Reranker 深度调优与 GraphRAG）、向量数据库、微调、AI Agent（6篇，含记忆系统）、MCP（4篇）、多模态（4篇）、推理优化与成本治理（含语义缓存/模型路由）、评估与 LLMOps、安全治理、AI 产品化、本地部署、Agent 产品设计、结构化输出与受限解码、量化与蒸馏、实时语音 Agent、长上下文优化、RAG 评估体系、端侧推理全链路）。在搜索引擎中搜索
LLM 开发指南、AI Agent 架构、GraphRAG、Reranker 调优、LLM 语义缓存、模型评估、MCP 协议、本地大模型部署等关键词时，本聚类索引提供直达路径。
关联专题
| 专题 | LLM 关联点 |
|---|---|
| AI 推理加速 | TensorRT-LLM、vLLM、ONNX Runtime LLM 推理优化 |
| AI / ML 算法 | Transformer 原理、模型训练、微调（Fine-tuning）、RLHF |
| Python 全栈 | LangChain、LlamaIndex、AutoGPT、CrewAI Agent 框架 |
| 数据库专题 | 向量数据库（pgvector/Milvus/Pinecone）、知识图谱存储 |
| 分布式系统 | 分布式 LLM 推理服务、多节点部署、模型分片 |
| DevOps 专题 | LLM 推理服务 CI/CD、A/B 测试、模型版本管理 |
| 信息安全 | Prompt Injection 防御、模型越狱检测、数据隐私保护 |
| 前端工程化 — AI 驱动的前端开发：AI 辅助编码、自动化 UI 生成、智能 CSS | |
| HPC 高性能计算 — 大规模 LLM 训练集群：GPU 集群调度、InfiniBand 网络、并行训练框架 | |
| 操作系统 — LLM 推理引擎的系统级优化：显存管理、NUMA 感知、IO 调度 |