CoreDNS 与服务发现：插件链、NDOTS 与 Headless Service

应用配置：DATABASE_HOST=postgres.default.svc.cluster.local
                ↓ 解析
        Service ClusterIP（稳定）
                ↓ kube-proxy / eBPF 转发
        Endpoint（Pod IP，动态）

Pod 内进程调用 getaddrinfo()
  ↓ 读取 /etc/resolv.conf
nameserver 10.96.0.10              # kube-dns Service 的 ClusterIP
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
  ↓
请求发往 CoreDNS（Service → Endpoint）
  ↓
CoreDNS 插件链处理（kubernetes 插件查 Service/EndpointSlice）
  ↓
返回 A/AAAA 记录

kubectl get svc -n kube-system kube-dns
kubectl get deploy -n kube-system coredns
kubectl get configmap -n kube-system coredns -o yaml

.:53 {
    errors                          # 把错误记录到 stdout
    health {                        # 健康检查端点 :8080/health
        lameduck 5s
    }
    ready                           # readiness 端点 :8181/ready
    kubernetes cluster.local in-addr.arpa ip6.arpa {
        pods insecure               # 允许解析 Pod IP 风格记录
        fallthrough in-addr.arpa ip6.arpa
        ttl 30
    }
    prometheus :9153                # 暴露指标
    forward . /etc/resolv.conf {    # 上游 DNS（节点 resolv.conf）
        max_concurrent 1000
    }
    cache 30                        # 缓存 30 秒
    loop                            # 检测转发环路，检测到就崩溃退出
    reload                          # Corefile 变更自动重载
    loadbalance                     # 对多 A 记录做轮询
}

实际执行顺序（部分）：
  metadata → cancel → errors → log → health → ready
  → prometheus → cache → ... → kubernetes → ... → forward → reload

写 backend              → 依次尝试 backend.prod.svc.cluster.local（同命名空间）
                          backend.svc.cluster.local
                          backend.cluster.local
写 backend.prod          → backend.prod.svc.cluster.local
写 backend.prod.svc.cluster.local  → FQDN，直接查询

pods insecure      # 允许解析 <ip-dashed>.ns.pod.cluster.local（按 IP 反查）
pods verified      # 仅当 Pod IP 存在时返回（更安全，但查询更慢）
pods disabled      # 完全禁用（推荐，可省大量内存与查询）

记录格式：10-244-1-5.default.pod.cluster.local  → 10.244.1.5

apiVersion: v1
kind: Service
metadata:
  name: postgres
spec:
  clusterIP: None
  selector:
    app: postgres
  ports:
    - port: 5432

postgres-0.postgres.prod.svc.cluster.local → 10.244.1.5
postgres-1.postgres.prod.svc.cluster.local → 10.244.2.7

查询 api.external.com（1 个点 < 5）→ 依次尝试：
  api.external.com.default.svc.cluster.local   ← 无效
  api.external.com.svc.cluster.local           ← 无效
  api.external.com.cluster.local               ← 无效
  api.external.com                            ← 终于成功

env:
  - name: UPSTREAM_URL
    value: "https://api.github.com."   # 末尾的 . 表示绝对域名

spec:
  dnsPolicy: ClusterFirst
  dnsConfig:
    options:
      - name: ndots
        value: "2"          # 只有 2 个点以上才走 search 域

Pod 的 resolv.conf：nameserver 169.254.20.10
   ↓（本地回环，无 conntrack、无 kube-proxy）
节点上的 node-cache Pod（本地缓存）
   ↓ 未命中时
CoreDNS Service（cluster.local 相关查询）
   ↓ 非 cluster.local
上游 DNS

# 官方部署脚本（会改写 kubelet 的 --cluster-dns 与 iptables 规则）
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml
# 替换 __PILLAR__DNS__SERVER__、__PILLAR__LOCAL__DNS__、__PILLAR__DNS__DOMAIN__
kubectl apply -f nodelocaldns.yaml

# node-cache 的核心配置
apiVersion: v1
kind: ConfigMap
metadata:
  name: nodelocaldns
  namespace: kube-system
data:
  Corefile: |
    cluster.local:53 {
        errors
        cache 30
        reload
        loop
        bind 169.254.20.10 10.96.0.10
        forward . __PILLAR__CLUSTER__DNS__ {
            force_tcp
        }
        prometheus :9253
    }
    .:53 {
        errors
        cache 30
        reload
        loop
        bind 169.254.20.10 10.96.0.10
        forward . /etc/resolv.conf
        prometheus :9253
    }

# CoreDNS Deployment 关键片段
spec:
  replicas: 3                    # 大集群按节点数 / 10 估算
  template:
    spec:
      topologySpreadConstraints: # 按可用区打散，避免同 AZ 全挂
        - maxSkew: 1
          topologyKey: topology.kubernetes.io/zone
          whenUnsatisfiable: ScheduleAnyway
          labelSelector:
            matchLabels:
              k8s-app: kube-dns
      containers:
        - name: coredns
          resources:
            requests: { cpu: 100m, memory: 70Mi }
            limits:   { memory: 170Mi }   # 注意：不要给 CPU limits

# CoreDNS 暴露的 Prometheus 指标
coredns_dns_requests_total{zone,type,proto}         # 请求量
coredns_dns_responses_total{rcode}                  # 响应码（SERVFAIL/NXDOMAIN）
coredns_dns_request_duration_seconds                # 延迟分布
coredns_cache_hits_total / coredns_cache_misses_total
coredns_forward_healthcheck_failures_total

forward . /etc/resolv.conf {
    max_concurrent 1000        # 默认 1000，高 QPS 可调大
    policy sequential          # 或 random / round_robin
    health_check 5s
}

# 1) DNS 服务本身是否健康
kubectl get pods -n kube-system -l k8s-app=kube-dns -o wide
kubectl get svc -n kube-system kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns --tail=50

# 2) 在 Pod 内验证解析（用带工具的临时 Pod）
kubectl run dnstest --image=registry.k8s.io/e2e-test-images/agnhost:2.45 \
  --restart=Never -- sleep 3600
kubectl exec -it dnstest -- cat /etc/resolv.conf
kubectl exec -it dnstest -- nslookup kubernetes.default.svc.cluster.local
kubectl exec -it dnstest -- nslookup backend.prod.svc.cluster.local

# 3) 直接查 CoreDNS（绕过 Service，定位是 CoreDNS 问题还是 Service/网络问题）
kubectl exec -it dnstest -- nslookup backend.prod.svc.cluster.local <coredns-pod-ip>

# 4) 抓包看请求是否到达
kubectl exec -it <coredns-pod> -n kube-system -- \
  tcpdump -i any -n port 53 -c 20