tag

LLM

共 38 篇文章。

全部文章 Go Godot Golang Tutorial Rust SaaS Rust Tutors Prd Lua 游戏客户端 Minigame Long Term Novel Writing Experience Spore Trilogy Creative Writing Notes 孢子三部曲

TensorRT-LLM：大语言模型的高效推理部署

大语言模型（LLM）的推理部署是 AI 基础设施的核心挑战之一。随着模型参数量从数十亿增长到数千亿，如何在保证低延迟和高吞吐的前提下高效运行这些模型，成为生产环境的必答题。NVIDIA 推出的 TensorRT-LLM 正是为了解决这一痛点而诞生的专用推理框架。

2026-09-107 分钟阅读

TensorRT-LLM NVIDIA LLM

LLM 推理服务架构设计：从单机到分布式集群

随着大型语言模型（LLM）从实验室走向生产环境，构建一个高吞吐、低延迟、可弹性伸缩的推理服务架构，已成为 AI 工程团队的核心命题。与传统的请求-响应式服务不同，LLM 推理具有内存占用高、计算密集、延迟不可预测等特点，这要求我们在架构设计时必须引入一套全新的技术范式。

2026-09-1010 分钟阅读

LLM 推理架构分布式

KV Cache 优化与注意力机制加速：FlashAttention / PagedAttention

大型语言模型（LLM）的推理性能已经成为生产环境部署中的核心挑战。在 Transformer 架构中，自注意力机制（Self-Attention）虽然在建模长距离依赖方面表现出色，但其计算和内存开销随序列长度呈平方增长。

2026-09-1013 分钟阅读

LLM 注意力优化 FlashAttention

GPTQ / AWQ / W4A16：大语言模型权重量化实战

使用 70 GB 显存才能跑一次的 Llama-2-70B，量化后可以塞进 24 GB 的消费级显卡。这不是魔法，而是大语言模型（LLM）权重量化带来的实际收益。本文将深入讲解 GPTQ、AWQ、SmoothQuant、W4A16 等主流量化方案的原理与实战，帮助你在生产环境中实现 4 倍模型压缩而

2026-09-109 分钟阅读

LLM 量化 GPTQ

AI Agent 生产化部署架构：从 Prompt 工程到高可用服务

将 AI Agent 从原型 Demo 推向生产环境需要解决可靠性、延迟、成本和可扩展性四大挑战。本文系统讲解 Agent 生产化部署的完整架构：Prompt 版本管理、工具调用安全隔离、多轮对话状态持久化、流式响应与 SSE、重试降级策略、Token 预算控制，以及 LangChain、CrewAI 等框架的部署模式对比。

2026-09-0110 分钟阅读

AI Agent LLM 生产部署

python

Python + LLM 实战：OpenAI API 集成与 Agent 开发

使用 Python 集成 OpenAI / Claude / 国产大模型 API，掌握 Prompt Engineering、Function Calling、RAG 检索增强生成、LangChain / LlamaIndex 框架与 AI Agent 开发。

2026-08-1514 分钟阅读

Python LLM AI

ai-ml

13. 大语言模型应用开发

大语言模型 LLM 应用开发：Prompt Engineering、RAG 检索增强生成、Fine-tuning 微调、Function Calling 与 AI Agent 架构设计

2026-08-137 分钟阅读

LLM RAG Agent

ai-ml

人工智能正在重塑软件开发与商业决策的每个环节。本专题系统覆盖传统机器学习、深度学习、自然语言处理、计算机视觉与推荐系统，从监督/无监督学习算法原理、神经网络与 CNN/RNN/Transformer 架构、BERT/GPT 大语言模型应用开发，到特征工程方法论、RAG 检索增强生成架构与评估、LoRA/QLoRA 大模型高效微调、向量数据库选型与检索优化、模型评估与基准（LLM-as-Judge）、模型压缩（量化/剪枝/蒸馏）、时序预测实战、TorchServe/Triton 推理服务化部署，以及 MLflow/DVC 实验管理、CI/CD for ML 的 MLOps 全流程工程化实践，为 AI 工程师提供从算法研究到生产落地的完整能力图谱，并扩展 LLM 推理优化（KV Cache/PagedAttention/连续批处理/量化/投机解码）、分布式训练（DDP/FSDP/ZeRO/混合精度/断点续训）、数据标注与合成数据（主动学习/数据飞轮）、MLOps 治理与可复现（模型注册/漂移监控/金丝雀发布）、Embedding 深入（对比学习/双塔架构/难负样本）与类别不平衡/异常检测实战（SMOTE/Focal Loss/隔离森林）。

2026-08-137 分钟阅读

AI ML Deep Learning

games

AI 辅助游戏开发实战流水线：从自然语言到可玩关卡

系统讲解小游戏引擎中 AI 辅助开发的完整流水线。涵盖 LLM → JSON 关卡生成 → 场景自动搭建 → Diffusion 素材风格迁移 → 数值平衡 RLHF 的全链路实现。提供完整的 Prompt Engineering 模板、LevelGenerator / AssetStylizer 类实现、AI 工作流架构图与质量评估指标。

2026-08-087 分钟阅读

AI LLM Diffusion

测试工程

AI 辅助测试生成：LLM 时代的测试维护革命

测试自动化领域长期面临一个尴尬的悖论：自动化测试本应减少人工投入，但编写和维护测试代码本身却消耗了与生产代码相当甚至更多的资源。研究表明，典型项目的测试代码量与生产代码量之比通常在 2:1 到 3:1 之间，而测试代码的维护成本往往高于生产代码——因为每次功能变更都可能导致大量测试用例的同步更新。大 …

2026-01-0114 分钟阅读

ai-testing llm copilot

saas