10.1 完成语义:completions/parallelism
前 8 章的控制器都在维持「期望的副本数」。Job 是第一个不维护稳态的控制器:它的目标是「把一批任务做完」。本节解剖 Job 的完成语义——completions 定目标、parallelism 定并发,控制器在两者间调谐。
Job 与 Deployment 的本质区别:终态 vs 稳态
| Deployment | Job | |
|---|---|---|
| 目标 | 保持 N 个副本运行 | 完成 M 个任务 |
| 终态 | 无(永远运行) | 有(Completed/Failed) |
| Pod 角色 | 服务(长时间存活) | 工作(跑完即退) |
| 调谐方向 | 建/删到 N | 建/等到 M 成功 |
Job 的 Pod 会自己退出(任务做完容器退出),控制器关心的是「成功退出的数量够不够」,而不是「活着的数量够不够」。这是调谐目标从「数量」到「完成度」的转变。
两个关键字段:completions 与 parallelism
type Job struct {
Name string
Completions int // 总目标:要成功完成多少次
Parallelism int // 并发上限:同时跑多少个 Pod
Succeeded int
Failed int
Active int
BackoffLimit int
}
- completions(总目标):整个 Job 要成功完成的任务数。默认 1(跑一次就完)。
- parallelism(并发):同时允许运行多少个 Pod。默认 1(串行)。
两者的关系:completions 是终点,parallelism 是路的宽度。10 个任务、并发 3——控制器保证「同时最多 3 个在跑,直到累计成功 10 个」。
NeedNew:要不要再开一个 Pod
Job 控制器每轮调谐的核心决策是「要不要新开一个 Pod」。lab 的 NeedNew:
func (j *Job) NeedNew() bool {
if j.Succeeded+j.Active >= j.Completions {
return false // 已够数(含在跑的),不再开
}
if j.Failed >= j.BackoffLimit {
return false // 失败超限,整个 Job 失败,不再开
}
if j.Active >= j.Parallelism {
return false // 并发已满
}
return true
}
三个「不再开」的条件,一个「开」的条件:
- 已够数:
Succeeded + Active ≥ Completions——要么已完成,要么在跑的够完成目标的,不再多开。 - 已失败:
Failed ≥ BackoffLimit——整个 Job 判定失败,停止。 - 并发已满:
Active ≥ Parallelism——当前窗口已满。
三者都不满足 → 开一个新 Pod。NeedNew 是「三个闸门」的与逻辑——任何一个闸门关上都不开。
并发窗口的推进
Job 的调谐是一条流水线:
每轮调谐:
1. 清理完成的 Pod(Finish 计入 Succeeded)
2. 清理失败的 Pod(计入 Failed)
3. NeedNew?是 → 开新 Pod(Active++)
以 completions=5、parallelism=3 为例:
| 时刻 | Succeeded | Active | 动作 |
|---|---|---|---|
| t0 | 0 | 0 | 开 3(并发满) |
| t1 | 1 | 2 | 开 1(补到 3) |
| t2 | 3 | 2 | 开 1(补到 3) |
| t3 | 5 | 0 | Succeeded=5≥5 → 不再开,Completed |
并发窗口始终 ≤ parallelism,直到累计成功达到 completions。流水线的节奏:一个完成、补一个,完成的多了、窗口自然收缩。
完成判定:Completions 到了就 Completed
Job 完成的条件:
func (j *Job) Completed() bool {
return j.Succeeded >= j.Completions
}
- 只看成功数,不看失败数:失败的任务只要没超 backoffLimit,不影响 Job 整体完成。
- 完成的瞬间:
Succeeded达到Completions时,Job 标记 Completed,控制器停止调谐,不再开新 Pod。
对比并行的普通 Pod:Job 的「完成」是可计数的成功——跑 10 个、成功 10 个才完成;跑 10 个、成功 8 个就不是完成。计数语义是 Job 的核心。
为什么 completion 语义比「跑完」复杂
「任务做完」在 K8s 里不是一个瞬间,而是一个可观测的计数:
- Pod 成功退出(exit 0)→ 计入 Succeeded。
- Pod 失败退出(非 0)→ 计入 Failed(可能重试)。
- Pod 还活着 → Active,不计数。
- 累计 Succeeded 达标 → Job Completed。
这个计数的每一步都要可观测、可重试、可判定。Job 控制器本质上是一个「完成度计数器」——它把「一批任务做完了没」翻译成可调谐的数值状态。
Job 的 Pod 模板:一次性的配置
Job 创建 Pod 也用 spec.template,但有一个强制差异:restartPolicy 必须是 Never 或 OnFailure。
| restartPolicy | 行为 | 语义 |
|---|---|---|
| Never | 容器退出即 Pod 失败 | 任务「跑一次」,不重启容器 |
| OnFailure | 容器失败则重启 | 任务「可能重跑」,Pod 内重试 |
| Always | 不合法(Job 里禁用) | 任务「一直跑」违背 Job 目标 |
为什么 Always 被禁:Job 的 Pod 必须能「终止」——任务做完容器退出、Pod 进入 Succeeded,Job 才计数。Always 意味着容器永远重启、Pod 永不完成,与「做完任务」矛盾。
模板的其他考量:
- 探针可省略:批处理任务通常「跑完即成功」,不需要就绪探针(那是长跑服务的概念)。
- activeDeadlineSeconds 兜底:单个 Pod 超过此时间强制失败(10.2 节的失败来源之一)。
- ttlSecondsAfterFinished:Job 完成后自动清理 Pod 对象,防止堆积。
模板是「一次性任务」的配置:与 Deployment 模板(长跑服务)比,少了探针、多了 restartPolicy 约束与 TTL——每个字段都反映「这个工作是要做完的,不是要一直跑的」。
完成的可观测性:status 里有什么
Job 的进度全部体现在 status 字段,控制器和人都靠它观测:
| status 字段 | 含义 | 判定用途 |
|---|---|---|
| succeeded | 成功数 | 是否 Completed(10.1 节) |
| failed | 失败数 | 是否 Failed(10.2 节) |
| active | 在跑数 | 并发窗口 |
| conditions | 完成/失败条件 | 终态标记 |
观测的意义:
- 不做「任务进度」的魔法:K8s 只看容器退出码,不猜任务内部进度(比如「解析到第 3 个文件」)——进度由应用自己报(Prometheus 等),平台只数「成功/失败/在跑」。
- status 是幂等写的(6.2 节):控制器反复把最新计数写上去,不累加——即使重启也不会重复计数。
- 人类可读:
kubectl get job一眼看到 succeeded/failed——「做完多少、失败多少」的运维信息就在字段里。
Job 的「完成度」是平台可观测、应用不可替代的:平台数退出码,应用报进度——两者合起来才是批处理的完整可观测性。
三个常见误解
- 「Job 会保持副本数」——错误。Job 不维护稳态,只追求完成度;全做完就停。
- 「parallelism 决定总共跑几个」——错误。parallelism 是并发上限,总目标由 completions 决定。
- 「失败的任务会重试到成功为止」——错误。受 backoffLimit 约束(10.2 节),超限则整个 Job 失败。
本节 lab
本节验证 Job 的完成语义与并发窗口:
cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestJobCompletion' -v
TestJobCompletion:completions=5、parallelism=3 时,控制器按窗口开 Pod,累计成功 5 个后 Completed——「计数达标即完成」的完整路径。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。