tag

LLM

共 38 篇文章。
全部文章GoGodotGolangTutorialRustSaaSRust TutorsPrdLua游戏客户端MinigameLong Term Novel Writing ExperienceSpore Trilogy Creative Writing Notes孢子三部曲
miniblog

LLM 内容生成与辅助创作：AI 写帖、续写摘要与内容供应链

系统覆盖微型博客平台的 LLM 内容生成能力：生成能力全景（写帖/续写/摘要）、提示词编排与结构化创作管线、生成内容的质量控制与审核、改写润色与人味化、生成系统架构（请求编排/缓存/降级）、AI 稿进入发布流的内容供应链、版权与合规边界、AI 内容水印与可溯源、以及 AI 内容与社区生态的浓度控制与治理，帮助平台在不牺牲社区质量的前提下用好大模型。

12 分钟阅读
miniblog llm content-generation
ai

模型压缩：量化、剪枝、蒸馏与部署优化实战

模型压缩让大模型在有限显存与延迟预算下可用，是边缘部署与降本增效的关键。本文系统讲解模型压缩四大技术：量化（PTQ/QAT/INT8/INT4/FP16）、剪枝（结构化/非结构化）、知识蒸馏（logits/特征/教师学生）、低秩分解，并结合 ONNX/TensorRT/TVM 部署优化、显存与吞吐权衡、精度保持评估方法，以及 LLM 量化与边缘部署的实战案例。

11 分钟阅读
模型压缩 量化 INT8
ai

量化感知训练（QAT）与量化微调：伪量化、STE 与 QLoRA 实战

训练后量化（PTQ）在精度敏感场景常常失手，量化感知训练（QAT）则让模型在训练阶段就『学会』适应量化噪声，是工业界把 INT8 精度损失压到 1% 以内的关键手段。本文从伪量化算子与直通估计器（STE）讲起，给出 QAT 完整流程，讲解蒸馏+量化组合，并深入 LoRA 量化微调（QLoRA）与工业实践。一、QAT 背景与动机

8 分钟阅读
QAT 量化 模型压缩
ai

推理基准与压测：TTFT、ITL、TPOT 指标与容量规划实战

『我的推理服务到底能扛多大流量？』『加一张卡值不值？』『P99 为什么这么差？』这些问题都需要一套科学的基准测试方法。本文讲解 LLM 推理的核心性能指标 TTFT / ITL / TPOT，分析延迟与吞吐曲线，演示 LLM Perf 与 Locust 两类压测工具，最后给出容量规划与成本建模的完整方法。一、推理性能指标体系

8 分钟阅读
基准测试 压测 LLM
ai

大模型高效微调：从全参微调到 LoRA/QLoRA 与 DPO

全参数微调大语言模型在显存、数据与工程成本上都不现实，参数高效微调（PEFT）成为主流选择。本文系统讲解微调技术全景：全参微调的局限、LoRA 低秩分解原理与实现、QLoRA 的 4bit 量化与嵌套量化、Adapter 与 Prefix Tuning、微调数据构造与合成、训练超参配置、评测与过拟合防护，以及 SFT 与 DPO 两条对齐路线的工程实践对比。

10 分钟阅读
微调 LoRA QLoRA
ai

RAG 架构全景：从检索增强生成到 Agentic RAG 的生产实践

RAG（检索增强生成）已成为大语言模型接入私有知识库的主流范式，但朴素 RAG 在召回率、相关性排序与评估层面存在系统性短板。本文系统讲解 RAG 架构全景：文档切分与索引策略、查询路由与改写、混合检索（稀疏+密集+BM25）、Cross-Encoder Reranker 重排序、生成阶段上下文组装，以及基于 RAGAS 的评估体系与 Agentic RAG 的生产调优。

11 分钟阅读
RAG LLM 检索增强生成
ai

分布式推理与 GPU 集群调度：张量并行、流水并行与调度器实战

当单卡放不下一个 70B 模型，或单卡无法满足线上吞吐时，分布式推理就从『可选优化』变成『必选项』。本文系统讲解张量并行、流水线并行与专家并行三大策略的通信代价与适用场景，介绍连续批处理在集群中的落地，并深入 KServe 与 Ray Serve 两类 GPU 调度器的架构与配置。一、为什么需要分布式推理

10 分钟阅读
分布式推理 GPU 并行计算
ai

多模态推理实战：从图像 Token 化到视觉语言模型联合推理

大语言模型的文本能力已经被充分挖掘，而让模型『看懂图』的多模态推理，正在成为企业级应用的新战场：文档解析、商品识别、自动驾驶、智能客服。本文从图像如何变成 Token 讲起，深入视觉语言模型（VLM）的联合推理机制、多模态 KV Cache 显存管理，再到生产级多模态推理服务部署。一、从单模态到多模态：VLM 推理的挑战

9 分钟阅读
多模态 VLM 推理加速
Observability

生成式 AI 可观测性：LLM 调用追踪、Token 成本监控、质量与安全评估

传统应用的可观测性（Metrics/Logs/Traces）在 LLM 应用面前依然成立，但要新增三个 LLM 特有的观测维度：Token 与成本（每次调用消耗多少、花了多少钱）、模型质量（回答对不对、是否幻觉、是否符合预期）、模型安全（提示注入、有害内容、PII 泄露）。大模型是"黑盒 …

8 分钟阅读
genai llm observability
LLM

Agent 记忆系统实战：从上下文窗口到长期记忆的持久化架构

LLM 本身没有记忆——每次调用都从空白上下文开始。但真实的智能应用需要跨会话记住用户偏好、任务进度与历史事实。Agent 记忆系统正是为了解决"上下文是易失的、知识是永恒的"这一矛盾而生的工程领域。本指南从记忆的类型学出发，系统覆盖短期工作记忆、长期语义记忆、情景记忆与程序性记 …

17 分钟阅读
llm agent memory