category

ai

共 143 篇文章。
全部文章BooksgameJavaIndiegolang客户端开发MinigameSaasrustPythoncgTypescriptengineCocos
ai

RAG 推理链路优化:把检索、重排与生成串成低延迟流水线

RAG 的端到端延迟由「检索 → 重排 → 上下文构造 → 生成」四段串联,任何一段慢都会拖垮整体。很多人只优化生成,却忽略检索与重排才是长尾的主要来源。本文拆解 RAG 链路的延迟分解,给出检索/重排/生成各段的优化手段、跨段流水线并行、缓存分层设计与端到端评测方法,把 RAG 从「能跑」优化到「快且稳」。

8 分钟阅读
RAG
ai

向量化与重排模型服务优化:Embedding 与 Reranker 的性能工程

RAG 的检索质量与延迟,一半取决于 Embedding 与 Reranker 的服务效率。这两类模型和生成模型截然不同:Embedding 是编码器(高吞吐、批处理友好),Reranker 是交叉编码器(算力密集、批内耦合)。本文拆解它们的服务特征、批处理与量化优化、GPU/CPU 选型、部署架构与评估指标,给出可落地的调优路径。

7 分钟阅读
RAG
ai

LLM 网关与多模型路由:统一入口、策略分流与故障转移

当业务同时接 GPT、Claude、开源模型与自托管推理,直连每个后端会让限流、鉴权、成本核算散落各处。LLM 网关把「多模型调用」收敛成统一入口:协议适配、策略路由、限流配额、故障转移、可观测性一站式解决。本文讲清网关的职责边界、四类路由策略、统一 API 设计、成本与配额治理,以及高可用与灰度实践。

8 分钟阅读
高可用