Kubernetes 节点管理与节点池策略：从生命周期到自动化运维

节点池 A：m5.large（通用计算），无污点，标签 app=general
节点池 B：c5.xlarge（CPU 密集），污点 dedicated=compute:NoSchedule
节点池 C：r5.2xlarge（内存密集），污点 dedicated=memory:NoSchedule
节点池 D：g4dn（GPU），污点 gpu=true:NoSchedule，用 taint-based 专用

kubectl label node worker-1 zone=az1 arch=amd64 gpu=true

# Pod 通过 nodeSelector 指定去哪类节点
spec:
  nodeSelector:
    zone: az1
    gpu: "true"

# 给 GPU 节点打污点，默认拒绝所有 Pod
kubectl taint nodes gpu-node gpu=true:NoSchedule

# Pod 声明容忍，才允许调度到 GPU 节点
spec:
  tolerations:
    - key: "gpu"
      operator: "Equal"
      value: "true"
      effect: "NoSchedule"

# cordon：标记节点不可调度（新 Pod 不再上去，已有 Pod 不受影响）
kubectl cordon node-1

# drain：优雅排空节点上的 Pod（先驱逐，等终止）
kubectl drain node-1 --ignore-daemonsets --delete-emptydir-data

# uncordon：恢复节点可调度
kubectl uncordon node-1

kubectl drain node-1
  ├─ 驱逐 Pod（遵守 PDB）
  ├─ 等待 Pod 终止（Terminating → Gone）
  ├─ 排除 DaemonSet（--ignore-daemonsets）
  └─ 完成后节点标记为不可调度

① cordon node-1                # 停止接收新 Pod
② drain node-1 --ignore-daemonsets  # 排空业务 Pod
③ 执行维护（升级内核/更换硬件/重启）
④ kubectl uncordon node-1      # 恢复调度

kubectl describe node node-1 | grep -A 5 Conditions
# Ready/NotReady、MemoryPressure、DiskPressure、PIDPressure、NetworkUnavailable

kubectl get node 发现 node-3 NotReady
  ├─ 立即排查（kubelet 日志、磁盘、网络）
  ├─ 若短期难恢复：cordon + drain 迁移业务
  └─ 长期：移除节点 + 节点池滚动替换

Pod 因资源不足 Pending
  → CA 检测到 Pending Pod
  → 扩容节点池（加到对应 AZ）
  → Pod 调度成功
缩容：节点利用率低 + 可安全驱逐 → 缩容

# 最小/最大节点池限制
cluster-autoscaler:
  min: 2
  max: 10

apiVersion: karpenter.sh/v1beta1
kind: NodePool
metadata:
  name: general
spec:
  template:
    spec:
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["on-demand", "spot"]
        - key: node.kubernetes.io/instance-type
          operator: In
          values: ["c5.large", "m5.large", "r5.large"]
  disruption:
    consolidationPolicy: WhenUnderutilized

时间窗口：每周日凌晨 02:00-05:00（业务低谷）
范围：分批滚动（先非核心池，再核心池）
预警：提前 24h 通知业务方
流程：cordon → drain → 维护 → uncordon

# kured 配置示例
image: ghcr.io/kubereboot/kured
args:
  - --reboot-command=/usr/bin/systemctl reboot
  - --lock-ttl=30m
  - --period=10m
  - --drain-timeout=30m

kubectl describe node <node>       # 全面状态
kubectl get node -o wide           # 版本/地址/角色
ssh node-1                         # 节点内排障
journalctl -u kubelet -f           # kubelet 日志
kubectl debug node/node-1 -it      # 临时进入节点