LLM 安全、评估与治理:Prompt Injection 防御、红队测试与合规框架
LLM 应用安全与治理全链路:Prompt Injection / Jailbreak 攻击分类与多层防御、输出内容审核(OpenAI Moderation / 自定义分类器)、Ragas / deepeval / TruLens 评估框架实战、红队测试方法论、PII 检测与数据隐私保护、EU AI Act / NIST AI RMF 合规框架概述。附带可复用的 Python 安全工具代码。
posts
LLM 应用安全与治理全链路:Prompt Injection / Jailbreak 攻击分类与多层防御、输出内容审核(OpenAI Moderation / 自定义分类器)、Ragas / deepeval / TruLens 评估框架实战、红队测试方法论、PII 检测与数据隐私保护、EU AI Act / NIST AI RMF 合规框架概述。附带可复用的 Python 安全工具代码。
LLM 推理部署全链路指南:vLLM(PagedAttention)vs TGI vs llama.cpp 选型与性能对比、GGUF/AWQ/GPTQ/FP8 量化技术详解、动态批处理与连续批处理、长上下文优化(KV Cache / FlashAttention)。附带 FastAPI + vLLM 完整服务端代码、Docker Compose 生产部署模板。
四大主流 Agent 框架深度对比:LangChain(LCEL 表达式语言)、LlamaIndex(检索优先 Agent)、CrewAI(多 Agent 协作工作流)、AutoGen(对话式多 Agent)。覆盖工具调用(Tool Use / MCP 协议)、记忆管理(短期/长时/向量记忆)、多 Agent 协作模式。附 LangChain ReAct Agent 完整代码与流式思考过程展示。
系统性讲解 LLM 参数高效微调(PEFT):LoRA / QLoRA / DoRA 原理与超参数调优、HuggingFace PEFT + TRL (SFTTrainer/DPOTrainer) 完整训练流程、Unsloth 2x 加速训练、数据集准备(Alpaca/ShareGPT)、评估与模型合并、GGUF/AWQ/ONNX 部署转换。附带可运行的训练脚本与微调 vs RAG 决策树。
五大主流向量数据库深度对比:PostgreSQL PGVector、Qdrant、Chroma、Milvus、Weaviate。从延迟、吞吐、扩展性、云托管、Python SDK 等维度提供选型矩阵,附带每种数据库的完整 Python 集成代码与性能基准数据。
系统性讲解 RAG(检索增强生成)完整架构:Embedding 模型选型(text-embedding-3/GTE/E5)、文档分块策略(固定/语义/递归重叠)、混合检索(dense+BM25)、重排序(Reranker)、LangChain vs LlamaIndex 实现对比。附带端到端 FastAPI 服务代码,基于 Qdrant + sentence-transformers。
系统性讲解 Prompt Engineering 核心技术:Zero-shot / Few-shot / Chain-of-Thought / Tree of Thoughts / ReAct 模式。OpenAI Function Calling 与 JSON Schema 结构化输出、Pydantic 解析、提示词注入防御策略,以及 LLM-as-Judge 评估框架。
深度解析主流 LLM API(OpenAI、Anthropic Claude、Google Gemini)的核心差异:认证方式、流式输出、Token 计数与预算管理、多模态输入、错误重试策略。附带完整的 FastAPI + asyncio 服务端封装代码,支持并发流式推理。
引言 随着大语言模型(LLM)技术的快速发展,其在自然语言处理、智能客服、内容生成等领域的应用日益广泛。然而,开发高效、可靠的大语言模型应用仍面临诸多挑战,如复杂的流程编排、高维护成本、弱类型语言带来的调试困难等。