tag

互联网产品

共 522 篇文章。
全部文章书稿GoJavaTypeScript互联网产品游戏开发独立开发者小游戏游戏服务端架构设计游戏设计Godot性能优化Rust
books

《互联网产品的 AI 架构·多能力编排与任务闭环》4.2 节点间的上下文预算分配

同一条编排里,高优先级节点只拿到最小上下文,低优先级节点却用不完预算,这是平均分配的典型结果。本节把输入预算拆成固定系统提示、共享片段、节点私有与输出预留四段,给出保底再增长的两阶段分配器,并用三组预算复算裁剪、丢弃、窗口不足与可追踪的丢弃原因。

10 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·多能力编排与任务闭环》4.1 共享上下文的三种形态

同一份共享上下文,全量复制、共享前缀与检索句柄在 token、成本与风险上完全不同。本节用三节点样本复算三种形态,说明 28.47% 的回本线从哪里来、句柄模式省下的钱花在哪,并给出可运行的成本比较模块、选择判据与可判定的上线条件,最后指出三种形态混用的边界。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·多能力编排与任务闭环》2.1 能力之间的数据契约

卷三要回答的第一个问题是跨能力调用到底该传什么。本节把节点间上下文分成携带数据、传引用、传摘要、传游标四类载体,给出字段来源、必填、版本与校验规则,并用一个零依赖校验器把缺失、未知字段、失效引用和越界游标变成可定位的问题码,附可复算的校验结果。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·多能力编排与任务闭环》1.3 什么该编排,什么该固定流程

三条链路都塞进编排引擎,最先坏掉的往往是最简单的那条。本节把固定流程、声明式编排与 Agent 循环放在同一组结构信号下,用可判定的评分函数给出回声 A/B/C 的选择,并说明 C 链加一个会员价分支就会跨过阈值、从固定流程翻到声明式编排的完整判据。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·多能力编排与任务闭环》1.2 串行、并行与条件分支

两条检索串行还是并行、人工复核是否每次都跑,是编排里最先遇到的结构选择。本节把串行、并行与条件分支放进同一个成本与成功率模型,用回声的两组对照算出并行省 195ms、条件分支省 81.18% 延迟,并给出选择顺序、三个隐藏成本与四条路径的验收口径。

7 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·推理性能与成本工程》12.2 降级链的成本约束

「回声」的主模型超时后,降级链先重试三次,再切到单次价格三倍的更大模型,最后用规则给出答案:一次十微元的规则结果花了七百九十微元。本节把成本单调性、重试上限、质量下限与四个退出条件写进降级链,并在示例样本上对比宽松与有界两种策略的真实运行结果。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·多能力编排与任务闭环》1.1 一个请求要几个能力:回声的三条真实链路

同一个用户请求在回声会穿过不同能力:内容发布、私信客服、站内下单三条链路的节点、成本、延迟与成功率都不一样。本节用可运行模型把链路展开成节点级账单与失败预算,算出每次成功交付成本,说明为什么请求数不等于能力调用数,以及容量规划应该用哪个数来估算。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·多能力编排与任务闭环》目录与学习路径

《互联网产品的 AI 架构·多能力编排与任务闭环》的完整目录与学习路径:13 章 39 节从编排结构、节点间契约、执行图、上下文与状态,讲到失败传播、人工与异步、编排级质量与成本、权限、观测、平台化与演进;附四卷分工、三条阅读路径、实验工程与读完应能回答的十二个问题。

7 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·推理性能与成本工程》12.1 供应商限流与分流

「回声」的主供应商在区域高峰返回 429,网关把重试铺到三家供应商,流量放大到 1.7 倍,备胎也被打到限流。本节把 429 冷却、本地配额池、确定性分流与全局重试预算放在一起,给出三种策略在 600 条示例请求上的运行结果,并说明怎样按卷一的能力分级决定隐藏、降级还是阻塞。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·推理性能与成本工程》11.3 灰度发布与自动回滚

新模型通过离线门禁后进入 5% 灰度,错误率从 1.00% 升到 2.12%,自动回滚在第二个窗口触发。本节说明灰度比例怎样按租户粘性分桶、硬指标与软指标为什么要不同回滚条件、样本不足为什么只能 hold,以及回滚后在途请求、缓存、幂等记录与下游写入怎样保持一致。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·推理性能与成本工程》11.1 质量-成本-延迟的权衡面

「回声」要在八个能力上同时选模型,加权总分却把取舍藏成一个数字。本节把质量、成本与延迟放回三维坐标,用支配关系求 Pareto 前沿,区分被支配区域与真正不可兼得的边界,再按能力护栏与边际成本选点;文中给出可运行的前沿模块与示例样本运行结果,说明最贵的不一定最好、最便宜的也不一定够用。

9 分钟阅读
书稿 互联网产品 AI 架构