tag

RAG

共 28 篇文章。
全部文章GoTypeScript游戏开发小游戏游戏设计Godot书稿RustPython性能优化游戏引擎PRDSaaS游戏服务端
ai

RAG 推理链路优化：把检索、重排与生成串成低延迟流水线

RAG 的端到端延迟由「检索 → 重排 → 上下文构造 → 生成」四段串联，任何一段慢都会拖垮整体。很多人只优化生成，却忽略检索与重排才是长尾的主要来源。本文拆解 RAG 链路的延迟分解，给出检索/重排/生成各段的优化手段、跨段流水线并行、缓存分层设计与端到端评测方法，把 RAG 从「能跑」优化到「快且稳」。

8 分钟阅读
RAG 推理优化 延迟优化
ai

向量化与重排模型服务优化：Embedding 与 Reranker 的性能工程

RAG 的检索质量与延迟，一半取决于 Embedding 与 Reranker 的服务效率。这两类模型和生成模型截然不同：Embedding 是编码器（高吞吐、批处理友好），Reranker 是交叉编码器（算力密集、批内耦合）。本文拆解它们的服务特征、批处理与量化优化、GPU/CPU 选型、部署架构与评估指标，给出可落地的调优路径。

7 分钟阅读
Embedding reranker 向量检索
计算机视觉

多模态视觉语言模型

本文系统讲解多模态视觉语言模型的工程落地，回答 CLIP 与 VLM 怎么分工、视觉 token 怎么压缩、多模态 RAG 怎么搭等实战问题。覆盖视觉编码器与投影层结构、对比学习对齐、指令微调数据构造、视觉问答、多模态检索增强、幻觉成因与缓解、评估基准、以及显存与吞吐估算，并给出 CLIP 检索与显存估算两段可运行代码。

11 分钟阅读
多模态 VLM CLIP
LLMOps

RAG 检索服务的工程化

RAG 的演示版本几十行代码就能跑通，生产版本却要在召回率、延迟与成本之间反复权衡。本文把 RAG 当作检索服务来工程化：拆解切分、embedding、向量检索、混合检索、reranker 精排、上下文拼装与生成七个环节，给出分块参数、embedding 维度选型、HNSW 参数调优与 bge-reranker-v2-m3 的延迟收益量化，附可运行的混合检索加精排 Python 代码与常见坑清单。

13 分钟阅读
RAG 向量检索 HNSW
llm

混合检索 RAG：BM25 与向量融合

只靠向量检索的 RAG 有一个结构性弱点：语义相近不等于字面匹配。用户搜“怎么退订会员”，向量检索能抓到“取消订阅”的语义文档，却常常漏掉只在正文里出现“退订 扣费 别再续”这种字面表述的条款。反过来，关键词检索（BM25）擅长精确字面命中，却对“用户说的”与“文档写的”之间的语义鸿沟无能为力。混合 …

10 分钟阅读
LLM RAG BM25
ai

RAG 架构全景：从检索增强生成到 Agentic RAG 的生产实践

RAG（检索增强生成）已成为大语言模型接入私有知识库的主流范式，但朴素 RAG 在召回率、相关性排序与评估层面存在系统性短板。本文系统讲解 RAG 架构全景：文档切分与索引策略、查询路由与改写、混合检索（稀疏+密集+BM25）、Cross-Encoder Reranker 重排序、生成阶段上下文组装，以及基于 RAGAS 的评估体系与 Agentic RAG 的生产调优。

11 分钟阅读
RAG LLM 混合检索
可观测性

生成式 AI 可观测性：LLM 调用追踪、Token 成本监控、质量与安全评估

传统应用的可观测性（Metrics/Logs/Traces）在 LLM 应用面前依然成立，但要新增三个 LLM 特有的观测维度：Token 与成本（每次调用消耗多少、花了多少钱）、模型质量（回答对不对、是否幻觉、是否符合预期）、模型安全（提示注入、有害内容、PII 泄露）。大模型是"黑盒 …

8 分钟阅读
genai LLM 可观测性