推理服务的 Kubernetes 部署与弹性伸缩
本文面向 LLM 推理服务的生产部署,讲清 GPU 调度(device plugin、taints、MIG、time-slicing)的配置要点,比较 Deployment 与 StatefulSet 的边界,给出 startupProbe 应对模型加载的探针设计,说明 HPA 基于 CPU 失效的原因并改用 KEDA 加 Prometheus 队列深度指标,附可运行 YAML。
tag
本文面向 LLM 推理服务的生产部署,讲清 GPU 调度(device plugin、taints、MIG、time-slicing)的配置要点,比较 Deployment 与 StatefulSet 的边界,给出 startupProbe 应对模型加载的探针设计,说明 HPA 基于 CPU 失效的原因并改用 KEDA 加 Prometheus 队列深度指标,附可运行 YAML。
MCP 云基础设施与 IaC 工具服务器实践:AWS/K8s/Terraform 类工具设计、只读与变更操作分离、plan/apply 工作流、dry-run 与审批、凭证最小权限、成本与爆炸半径控制,让模型安全地操作云资源。
从一份可上生产的 Deployment 出发,讲清 resources.requests/limits 与 JVM MaxRAMPercentage 的配合(为何不写死 -Xmx、heap 为何不能超过 limit)、三种探针的分工与雪崩误用、ConfigMap/Secret 注入、多副本无状态、滚动更新参数与时区设置。
系统讲解测试环境治理:环境分层模型与共享/独占权衡、按需临时环境(Ephemeral Environment)的 PR 级动态创建与销毁、环境即代码(Terraform/Kubernetes/Helm)的声明式管理、环境漂移的检测与收敛、测试数据隔离与重置策略、环境可观测性与成本治理,以及从共享环境到按需环境的渐进演进路径。
从可部署产物到生产运维,系统梳理 Scala 应用的云原生落地路径:sbt-assembly 与 sbt-native-packager 打包、GraalVM native image 与分层镜像、多阶段 Dockerfile 与 jlink 裁剪、JVM 容器感知参数、Kubernetes 清单与 HPA/PDB/拓扑分布、三类探针语义与 SIGTERM 优雅停机、外部化配置与 Secret、结构化日志与 Prometheus/OpenTelemetry 可观测性、滚动更新与金丝雀发布,以及 OOMKilled、CPU throttling 等生产故障排查与成本优化。
系统讲解 Kubernetes 的调度再平衡:为什么调度是一次性决策、Descheduler 的架构与策略清单、资源碎片与装箱问题、低利用率节点与重复副本策略、亲和性与拓扑再平衡、与 Cluster Autoscaler 的协同,以及驱逐预算、安全阈值与效果度量的生产实践。
讲解 Nginx 在服务网格中的定位与落地方式,涵盖边车模式与流量劫持、东西向流量的代理配置、mTLS 与服务身份、与 Envoy 和 Istio 的能力对比与选型建议,以及可观测性接入与常见陷阱。
用 Terraform 管理 Helm Release:Provider 配置与认证、Chart 来源与版本锁定、values 注入的类型陷阱、Release 生命周期与状态同步、与 Kubernetes Provider 的分工,以及升级回滚与敏感值处理。
系统讲解 Cluster API 的声明式集群管理:Management/Workload 集群架构、Cluster 与 Machine 资源模型、基础设施与引导提供者、集群创建与升级流程、MachineDeployment 滚动更新、托管拓扑、多集群 GitOps 规模化,以及故障恢复与集群删除的生产实践。
从运行时威胁模型讲起,深入 eBPF 的内核钩子与检测原理、Falco 规则语法与告警管道、Tetragon 的策略执行与进程谱系、系统调用行为基线、容器逃逸与提权检测、告警降噪与响应编排,以及性能开销与内核兼容性的生产实践。
系统讲解 Kubernetes 的拓扑感知能力:topologySpreadConstraints 的 maxSkew 与 whenUnsatisfiable 语义、Pod 亲和与反亲和、Service 拓扑感知路由与 topologyMode、EndpointSlice 拓扑提示、internalTrafficPolicy 本地流量策略,以及跨可用区流量成本优化与排错清单。
从 CRD 设计与版本演进讲起,系统讲解 controller-runtime 的 Manager 架构、Reconcile 循环与幂等性、事件过滤与 Watches 映射、OwnerReference 级联回收、Finalizer 外部资源清理、Status 条件类型,以及 envtest 测试与生产化落地要点。
系统梳理 Kubernetes 准入控制链——ValidatingAdmissionWebhook 与 MutatingAdmissionWebhook 的配置字段、failurePolicy 与超时语义、Webhook 服务端的 TLS 与证书轮换、OPA Gatekeeper 与 Kyverno 策略引擎对比,以及准入链顺序、幂等性、高可用与排错的生产实践。
从有状态服务的视角讲透如何在 Kubernetes 上跑 Kafka:StatefulSet 的稳定网络标识与 Operator 模式的价值、Strimzi 的 Cluster Operator 与 Entity Operator 架构、核心 CRD 模型、Kafka CR 的 replicas 与 listeners 与 config 与 jvmOptions 与 storage 字段、StorageClass 与 PVC 持久化与 JBOD 与在线扩容、podAntiAffinity 与 topologySpreadConstraints 与机架感知的跨 AZ 高可用、滚动升级与扩容与分区再均衡与优雅停机、JMX Prometheus Exporter 与 PodMonitor 与 Cruise Control 监控运维,以及一整套真实踩坑清单
用 Terraform 编排 AI/ML 基础设施:GPU 节点池与自动伸缩、Kubernetes 与推理服务部署、模型与数据集存储、弹性排队与 GPU 成本优化。
讲解 Kubernetes 中 Nginx Ingress Controller 的完整实践,覆盖 Ingress 与 Controller 的概念分工、Helm 部署、路由规则与常用注解、cert-manager 证书管理、金丝雀发布与流量切分,以及与云负载均衡的集成和性能排错方法。
讲解 Terraform Kubernetes Provider:集群认证与 Provider 配置、kubectl/helm 资源编排、ingress 与证书管理、operator 与 CRD 的声明式落地,以及与 k8s 控制器配合的边界与坑。
深入讲解在 Kubernetes 上运维 PostgreSQL 的核心挑战与 CloudNativePG Operator 的实战方案。涵盖云原生数据库运维的关键痛点、CloudNativePG 架构设计、Cluster CRD 自定义资源定义、自动备份与基于 WAL 的时间点恢复(PITR)、Replica 管理与故障自动切换、storage 与 Secret 安全编排、滚动升级策略,以及 Patroni 与 Operator 模式对比。
完整讲解 Node.js 优雅停机与健康检查:SIGTERM 与 SIGINT 信号处理、HTTP 服务器优雅关闭、在途请求排空与超时兜底、liveness 与 readiness 探针设计,以及和 Kubernetes 与 PM2 的配合。
系统讲解 Kubernetes 成本优化:成本构成与分摊模型、Request 与实际用量画像(VPA/KRR)、节点池与 Spot 实例、Karpenter 自动伸缩、OpenCost/Kubecost 成本工具,以及降本优先级与成本指标看板。