容器网络安全与隔离：从 CNI 到服务网格

容器 eth0 (172.17.0.2) ──veth pair──> docker0 网桥 (172.17.0.1)
                                         │
                         iptables MASQUERADE ──> 物理网卡 ──> 外部网络
                         DNAT (端口发布)   <── 外部流量 <── 172.17.0.2:80

# 查看默认 bridge 的子网与网桥地址
docker network inspect bridge | jq '.[0].IPAM'

# 查看 veth pair（宿主机侧的名字形如 vethXXXXXX）
ip link | grep veth

# 查看某个容器的网络模式
docker inspect -f '{{.HostConfig.NetworkMode}}' myapp

# 查看 Docker 生成的 NAT 规则
iptables -t nat -L DOCKER -n -v

# 查看 DOCKER-USER 链（用户自定义安全规则的推荐位置）
iptables -L DOCKER-USER -n -v

端口发布的数据流（宿主机 8080 -> 容器 80）：
  1. PREROUTING  -> DOCKER 链做 DNAT：目标改写为容器 IP 172.17.0.2:80
  2. FORWARD     -> 放行 docker0 与物理网卡间的转发
  3. POSTROUTING -> MASQUERADE：容器出网时源地址改写为宿主出口 IP

# 只允许 10.0.0.0/8 访问暴露的 8080 端口（其余全部拒绝）
iptables -I DOCKER-USER -i eth0 -s 10.0.0.0/8 -p tcp --dport 8080 -j ACCEPT
iptables -I DOCKER-USER -i eth0 -p tcp --dport 8080 -j DROP

# 阻止容器访问宿主机上的 169.254.169.254（云元数据服务，防 SSRF）
iptables -I DOCKER-USER -d 169.254.169.254 -j DROP

{
  "iptables": true,
  "experimental": true,
  "network": { "iptables-backend": "nftables" }
}

# 查看所有网络命名空间（容器进程的 netns 在 /var/run/docker/netns/ 下）
lsns -t net

# 进入容器网络命名空间执行 ip 命令（利用 nsenter，与 nsenter 等价）
nsenter -t $(docker inspect -f '{{.State.Pid}}' myapp) -n ip addr

# 查看 netns 中路由表
nsenter -t $(docker inspect -f '{{.State.Pid}}' myapp) -n ip route

每个容器 netns 隔离以下内容：
  - 网卡 / IP / 路由表        （网络层）
  - iptables/nftables 规则     （包过滤，容器内默认空）
  - 邻居表 ARP / 连接跟踪      （L2/L4 状态）
  - 但不隔离 socket 中的抽象命名空间（UNIX socket 需配权限）

隔离的意义：容器 A 抓不到容器 B 的包，
  攻击者拿到容器 root 也无法直接嗅探兄弟容器流量。

# 让 log-agent 复用 web 容器的网络栈
docker run -d --network container:web --name log-agent logshipper:1.0

# 查看两个容器是否共享 netns（Inode 相同即共享）
lsns -t net -o NS,NPROCS,COMMAND | grep -E "web|log-agent"

1. 攻击者拿到 web 容器 RCE（例如旧版本 ImageMagick 漏洞）
2. web 容器扫描 172.18.0.0/16，发现 db 容器开放 5432
3. 因 bridge 网络默认互通，攻击者直连 db:5432
4. db 密码弱口令 -> 数据泄露

防御关键：
  - 默认禁止同网络容器互通（zero-trust）
  - db 只对 web 开放 5432，不对全网开放
  - 出站默认 deny

# 默认拒绝：该命名空间下没有命中策略的流量一律丢弃
apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: payments
spec:
  selector: all()
  types:
    - Ingress
    - Egress

# 只允许 frontend 访问 payments 服务的 8080
apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: allow-frontend-to-payments
  namespace: payments
spec:
  selector: app == "payments"
  types: [Ingress]
  ingress:
    - action: Allow
      source:
        selector: app == "frontend"
      destination:
        ports:
          - 8080

# CiliumNetworkPolicy：L3/L4 白名单
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: api-server
  namespace: api
spec:
  endpointSelector:
    matchLabels:
      app: api-server
  ingress:
    - fromEndpoints:
        - matchLabels:
            app: nginx-ingress
      toPorts:
        - ports:
            - port: "8080"
              protocol: TCP

# 查看 Cilium 状态与监控面板
cilium status
cilium monitor --type drop

# Hubble 流日志（已随 Cilium 安装）
hubble observe --from-namespace api --port 8080

# Calico 用 WireGuard 加密节点间流量（v3.15+）
calicoctl patch felixconfiguration default \
  --patch='{"spec":{"wireguardEnabled":true}}'

# 校验节点间是否走 WireGuard 隧道
ip link show wireguard.cali

# Istio 启用全网格 mTLS
apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  name: default
  namespace: istio-system
spec:
  mtls:
    mode: STRICT

# 验证流量已加密（从 sidecar 抓包应看到 TLS 握手而非明文 HTTP）
kubectl exec -it frontend-xxx -c istio-proxy -- \
  tcpdump -i eth0 -A 'tcp port 8080 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)'

# 安装 Istio
istioctl install --set profile=default -y

# 给命名空间注入边车
kubectl label namespace payments istio-injection=enabled

# 强制全链路 mTLS（上文 PeerAuthentication）
kubectl apply -f mtls-default.yaml

阶段一：全链路 mTLS（机密性）      —— 证书自动轮换，应用无感
阶段二：AuthorizationPolicy         —— 按身份/方法授权，替代网络 ACL
阶段三：审计与可观测               —— 请求级 trace 与审计日志

# 容器内网络连通性（推荐带 nmap/curl 的排障镜像）
docker run -it --network container:web nicolaka/netshoot

# 看容器端口映射是否生效
docker port web

# 检查 iptables 中是否有冲突规则（容器不通时的第一排查点）
iptables -S | grep -i docker

# 抓容器流量（-c 用容器名，nc 输出 pcap 到宿主机）
docker run -it --privileged --pid=host nicolaka/netshoot \
  sh -c "tcpdump -i any -w /tmp/cap.pcap && docker cp /tmp/cap.pcap ."

□ 默认用 bridge/overlay，禁用 host 网络（用准入策略强制）
□ 端口只绑 127.0.0.1 或按来源白名单（DOCKER-USER 链）
□ DOCKER-USER 链 DROP 云元数据地址 169.254.169.254
□ 节点间流量启用 WireGuard/IPsec 加密
□ K8s 环境先做默认拒绝 NetworkPolicy 再逐步放行
□ 敏感服务（db/redis）不与公网服务同网络
□ 服务间用 mTLS，关键路径接入服务网格审计
□ 定期用 nmap/trivy 网络栈扫描与规则 review