3.2 exchange 的缓冲、批与流控
流控按尚未消费的数据管理驻留预算。传输了多少批、同时驻留多少字节和传输要多久,属于三个不同量。
重建 16 个节点的网络账
10,000 MB 输入按上一节分布假设产生 9375 MB 跨机载荷,每发送节点均值 585.9375 MB。按 64 MB 发送批划分得到 10 批,最后一批是 9.9375 MB。十个同额槽位才需要 640 MB 容量;批次数本身不决定驻留量。
采用十进制带宽单位,1 Gb/s 理论为 125 MB/s。若流量都通过这一共享瓶颈,传输下界约 75 s。若 16 个节点具有独立等带宽并均衡发收,每节点发送侧理想下界约 4.69 s,还需核对收包、背板、协议和压缩。以上数字是模型。
先选流控粒度,再计算窗口
本图另以 8 MiB 为 credit 粒度,4 个 credit 允许 32 MiB 在途,和前述 64 MB 批模型独立。发送侧未发送队列、接收侧未消费数据、重传或解压缓冲须分别限额。要跑满链路,窗口至少覆盖所选流控循环的带宽时延积,还要有足够的消费速度。诊断时同时看 Exchange 阻塞时间、队列水位和每条链路吞吐,区分下游慢与链路慢。
sequenceDiagram
participant P as 生产侧上游 Pipeline
participant X as 发送侧有界队列
participant R as 接收侧有界队列
participant C as 下游消费者
R->>X: 发放 4 个 credit,每个允许 8 MiB
P->>X: 生成并按目的分区写入数据页
X->>R: 按 credit 发送,示例在途上限 32 MiB
alt 消费者可推进
R->>C: 交付数据页
C-->>R: 释放页占用
R-->>X: 归还 credit,唤醒发送
else 消费者暂时阻塞
Note over X,R: 停止追加发送
X-->>P: 队列写满后暂挂生产
end
alt 正常结束
X->>R: 分区结束标记
R->>C: 消费完后通知输入终结
else 查询取消或失败
X-->>P: 唤醒等待并终止
R-->>C: 取消输入并释放缓冲
end
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。