category

ai

共 143 篇文章。
全部文章BooksgameJavaIndiegolang客户端开发MinigameSaasrustPythoncgTypescriptengineCocos
ai

Embedding 深入:对比学习、双塔架构与向量检索工程

Embedding 是语义检索与 RAG 的地基,本文系统讲解对比学习原理(正负样本/InfoNCE 损失/温度系数)、双塔模型与 Sentence-Transformer 架构、Embedding 训练数据构造(难负样本/硬负样本挖掘/蒸馏)、相似度计算与归一化(余弦/点积/内积+缩放)、向量索引与量化、维度与多模态对齐、以及生产调优(批次内负样本/温度/距离度量)的完整方法论。

6 分钟阅读
ai

LLM 推理性能调优实战:从瓶颈定位到端到端优化的检查清单

LLM 推理的性能问题往往不是单一原因,而是一连串「小瓶颈」叠加。本文给出一份实战调优检查清单:先量化目标(吞吐/延迟/成本),再逐层定位瓶颈(显存/计算/带宽/调度),然后按优先级实施优化(解码策略/前缀缓存/融合/量化/批调度),最后用基准测试验证——从定位到优化的完整闭环。

11 分钟阅读
性能优化