这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
《AI Agent 高级编程》11.2 真实 API 冒烟:假模型 vs 真模型量化差距
全卷都在用假模型跑确定性对照,但「假模型全绿」到底能不能代表上线质量?本节给出一套可运行的对照 harness:同评测集、同评分器,先真跑出假模型列的数字,再把真模型列留空、显式标注「需用户授权后运行 --real 才填」,并逐条列出假模型量不出的五件事及其度量方法。
posts
这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
全卷都在用假模型跑确定性对照,但「假模型全绿」到底能不能代表上线质量?本节给出一套可运行的对照 harness:同评测集、同评分器,先真跑出假模型列的数字,再把真模型列留空、显式标注「需用户授权后运行 --real 才填」,并逐条列出假模型量不出的五件事及其度量方法。
把单实例 ResearchCopilot 推进成多 Agent 平台:用一份可运行的注册表实现 Agent 的注册、发现与 semver 版本路由,再用配额账本在调用前完成扣减与拒绝。附真跑输出,并给出「平台替你做了什么、你又让渡了什么」的对照表。
《AI Agent 工程实战》全书导航页:说明本卷定位、读者画像与前置知识、六到八周学习节奏与三条阅读路径,交代贯穿项目 ResearchCopilot 与「与既有 AI 专题的分工」,并按六个部分列出 18 章 54 节的完整章节索引,另含常见问题速查表与通往卷三的路线。
收官节分三块收束全卷:上线检查单、上线后的观察节奏(第 1 小时/第 1 天/第 1 周各看什么、何时回滚)、把线上失败与成本异常回流成评测样本与优化项的迭代闭环。再给出可选的真实 API 端到端冒烟流程与代码,明确标注需自备密钥、本机未执行,并用假模型跑同一脚本做离线等价验证,最后给全卷回顾与通往卷三的路线。
设计三个受控故障演练:模型超时(假模型注入延迟,验证超时止损与降级链)、DB 不可达(连不存在的端口,验证 readiness 摘流量与明确报错)、队列积压(往队列塞远超消费能力的任务,验证背压与告警)。每个都写清注入方式、预期表现、观测点、恢复动作与复盘问题,并逐个在本机真跑贴出日志、耗时与队列深度,最后给出复盘模板表。
收官章先把全卷散落的工程决策收成一份可执行清单:接口与契约、数据与一致性、并发与资源、可观测与告警、安全与合规五组,每条给出可判定的通过标准。再给一套容量估算方法,用一个真跑的脚本代入具体参数,算出每日 token、模型成本、DB 增速、Redis 内存与 worker 数。
汇总本次完整项目复现中的启动、API、循环、预算、引用、取消、恢复和写操作边界,提供可执行排查路径。
区分标准库离线项目、可选 SDK/HTTP 环境和付费冒烟,明确版本、运行入口、SSE 与 TypeScript 验证边界。
整理 FakeModel、合成夹具与真实录制的区别,提供标准库回归、练习验收点及已运行的参考检查。
核对全卷项目公开 API、模块归属、停止条件、会话、预算与计费边界,提供已复现项目与运行入口。
《AI Agent 开发入门》全书导航页:说明本卷定位、读者画像与前置知识、八到九周学习节奏与三条阅读路径,交代贯穿项目 minagent 与「与既有 AI 专题的分工」,并按六个部分列出 18 章 54 节的完整章节索引,另含序、前言、附录 A–D 与常见问题速查表,方便读者按需定位、跳读与随时查阅。
《AI Agent 开发入门》的序。从大模型「会聊天」到「会做事」的转折谈起,说明 Agent 工程在可靠性、可观测、成本与安全四个方向的真实难点,解释为什么本书选择「从零手写 + 假模型确定性复现」这条路线,并交代本书与站内既有 AI 专题的分工与不同起点的读者该从哪里进入。
《AI Agent 开发入门》前言:说明本书的目标读者与前置知识、六部分 18 章的结构分工、每一节的组织方式,交代 Python 3.14 主线与 TypeScript 对照线的版本口径、venv 与假模型零凭据的运行方式,预告入门/实战/高级三卷结构,并说明本书与站内既有 AI 专题的分工。
本节收束卷一:把 minagent 从 20 行循环长成完整模块的 18 章推进逐条盘清,讲明「从零手写」得到了什么、还差什么,预告卷二(服务化、持久化、并发、可观测、评测回归、部署)与卷三(框架重写、durable execution、computer use、A2A、Agent RL),并给出一份「学完卷一你应该能回答」的自测清单。
smoke_live.py 默认只提示离线入口;显式 --live 后才创建 SDK 请求。模型从参数或环境获取,不把演示 id 当成真实可用型号。可选 --record 保存原始模型响应,并写实际 UTC 时间和 origin=live;文件限制权限,仍可能含敏感数据,发布前需要脱敏。demo_recorded.py 只用 origin=synthetic 人工夹具。
五轮脚本走 search→read→search→read→final,串联保护循环、固定资料、词面引用候选、span、示例账单和评分。它是模块接线验证,不是真实模型检索质量评测。observed_run 复用 run 并检查停止;合成 usage 合计 input=1640、output=128,示例每百万 3/15 USD 得 0.00684 USD。数字是脚本账单,不是实测 API 成本。
《Cocos 游戏联机实战》全书导航页:说明本卷只写客户端侧的定位与读者画像、前置知识、三条阅读路径与六周排期,交代《方块冲刺》在卷四里改成双人竞速后的工程设定、Transport 抽象与权威模型,划清「客户端实现」与「服务端接口约定」的边界,并按四个部分列出 10 章 29 节的完整章节索引与常见问题速查表,方便按需定位与跳读。
网络差的时候怎么还能玩?本节给出延迟、丢包、抖动三档分别触发什么的分级降级表,用滞回避免档位在阈值附近反复横跳,把阈值做成 const 配置对象便于按机型与地区调,并写一个可跑的网络质量评估器与降级决策器,配 vitest 断言「阈值附近不抖」「持续恶化逐级降级」。
第 4 章的预测与和解默认消息按序送达,可真实链路会丢包、重复、乱序。本节给出动态超时判定(基于 1.3 的 RTT 估计而非写死)、哪些消息可重传哪些必须丢、用序号信封加去重表实现幂等,并用超时重传器配 vitest 断言「重复消息只处理一次」「丢包下重传最终送达」。
第 4 章讲完预测与和解,前提一直是「链路还在」。本节处理链路断掉之后怎么回到同一局:给出客户端会话状态机(idle/connecting/connected/reconnecting/failed 用 const 对象表示)、重连握手要携带的会话令牌与快照序号、恢复点对齐的两种策略,并用假传输层写一个可跑的重连状态机与 vitest 断言。