这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
向量化与重排模型服务优化:Embedding 与 Reranker 的性能工程
RAG 的检索质量与延迟,一半取决于 Embedding 与 Reranker 的服务效率。这两类模型和生成模型截然不同:Embedding 是编码器(高吞吐、批处理友好),Reranker 是交叉编码器(算力密集、批内耦合)。本文拆解它们的服务特征、批处理与量化优化、GPU/CPU 选型、部署架构与评估指标,给出可落地的调优路径。