自动扩容也要等:让容量、发布和下游一起跟上
虚构小店的教学场景。规模、耗时和算例不是生产性能承诺;技术方案均需按实际部署核验。
高峰已经到门口,新副本为什么还没有接单
小店平时运行六份订单程序,活动时希望增加到十八份。自动扩容可以减少长期按峰值运行的浪费,但流量一来就瞬间多出十二份可用程序,是不现实的假设。先把这段等待拆开。
指标看到的是已经发生的事
指标采集有间隔,传输和计算也需要时间。自动扩缩容控制器 HPA 周期性读取指标,按配置调整目标副本数量。它不是浏览器每来一个请求就立刻新建 Pod,也不直接选择这条请求去哪台机器。
目标副本变多,不等于可用副本变多
控制器创建新 Pod 后,要安排到有资源的节点,拉取镜像、启动程序、初始化并通过就绪检查。节点容量不够时还可能等待新的机器;新的机器本身也需要准备。这些阶段各有失败可能。
- 指标系统→HPA
提供已采集的负载指标
← 返回:查询与计算过程的状态 - HPA→工作负载目标
按配置调整期望副本数
← 返回:目标更新结果 - 控制器与调度器→节点/Pod
创建并安排新的副本
← 返回:启动与就绪状态
图表示管理关系。同期顾客请求继续由入口和现有就绪 Pod 处理,不经过 HPA;新 Pod 就绪后才按实际入口与服务规则接流量。
假设活动开始后 30 秒才能看到稳定高负载,又花 40 秒完成新增副本启动,流量可能已等待了很久。数值是教学假设,实际要测量。对已知时间的大促,提前准备容量能减少这段空窗。
自动扩容不能代替入口限流、排队保护和下游容量预算。否则扩容还没完成,现有程序就可能先被压垮。
指标怎么选:CPU 忙,不一定代表该多开程序
先理解一个简化比例
对适用的资源指标,HPA 的基本计算可理解为“当前副本数 × 当前指标与目标指标的比值”,再结合取整、容忍范围、缺失指标、就绪状态、稳定策略和上下限等处理。真实控制逻辑比简单算式更丰富。
教学例:当前六份,平均指标约为目标的两倍,简单比例会建议约十二份。它不是保证十二份就把指标精确减半,因为负载分配、共享瓶颈、启动和采样都会影响结果。
CPU 利用率类指标通常与容器声明的资源请求量相关,因此资源请求设置不合适会影响扩容判断。这里的请求量不是顾客请求数,而是程序声明希望被调度考虑的资源量,两个“请求”不要混淆。
CPU 低却排队,可能在等别人
程序在等数据库或外部接口时,CPU 未必高。此时只看 CPU 的扩容规则可能没有反应;但增加更多程序也未必解决下游瓶颈。可评估并发、队列长度或其他适用指标,前提是理解它与处理能力的关系。
任务队列场景还要看每个任务成本、最老等待和下游限额;相同队列长度在轻任务和重任务下不是同一压力。指标选择要通过实验验证,不能复制别人的阈值就当合理。
缩容为什么更需要小心?
短暂低谷不代表流量已经结束。频繁扩缩会反复启动、预热和终止,造成抖动。稳定窗口、变化速度限制和最小副本可以减少这种波动,但也可能延长资源保留时间。节省费用与稳定性需要权衡。
缺失或异常指标不能随便当成零负载。要观察控制器状态、事件及实际副本,而不只看一条曲线。
发布新版本:健康容量、排空与兼容缺一不可
自动扩容改变副本数量,滚动更新改变副本版本。两者可能同时发生,但解决的问题不同。一次稳妥发布要确保新程序准备好、旧请求有机会结束,以及新旧版本共同运行时业务兼容。
先增后减,需要临时资源
Deployment 可配置更新时额外增加多少副本、允许多少不可用。先启动新版本再关闭旧版本通常需要额外资源;节点已经满时,新副本可能排不进去,发布就卡住。不能把所有资源算到刚好满载后再期待无中断更新。
终止信号不是订单自动完成
Pod 终止时,端点状态和流量处理会变化,应用需要正确响应退出信号,在允许时间内停止接新工作并完成或安全交接已有工作。入口连接保持、端点传播与排空行为也有实现差异。
工人处理队列任务时退出,要考虑未确认消息的再次投递;前台订单处理中退出,要考虑事务结果与重试。优雅退出不会自动让所有外部调用获得确定结果。
检查通过只证明你检查的那件事
一个固定返回成功的健康地址不能证明下单可用;过重的探测又可能增加负担或引发连锁重启。应把启动、存活与就绪的含义分清,并用业务成功率、错误率和延迟判断是否继续发布。
新旧版本共用数据库时,要确保结构与数据格式兼容。回退镜像不能自动撤销数据变化。灰度或逐步放量可以缩小影响,但仍需要明确停止条件和恢复方案。
给数据库留余量,才能真的弹起来
副本数会放大下游连接与请求
每个 Pod 有自己的连接池,副本增加后数据库连接上限可能被碰到。缓存未命中、后台任务或外部接口也可能同时受压。扩容上限应与下游预算配合,而不是只看集群还能放多少 Pod。
假设每个 Pod 允许 20 条数据库连接,六份最多 120 条,十八份最多 360 条。实际同时打开多少取决于连接池实现和负载,但预算不能忽略这个乘法。数据库剩余能力不足时,更多 Pod 可能只是更多等待。
三种容量策略可以组合
| 方式 | 收益 | 代价 |
|---|---|---|
| 固定保留容量 | 反应直接,行为容易预测 | 低谷可能浪费 |
| 按指标自动扩缩 | 适应变化,减少部分手动工作 | 延迟、指标与控制策略复杂 |
| 活动前预扩容 | 减少已知高峰的准备空窗 | 需要预测、计划和活动后回收 |
HPA 调整 Pod 数量,节点扩容由另一些机制负责;调大容器资源又是不同方向。它们需要协调,不应该都叫“自动扩容”而不说明扩大什么。
验收需要真实时间线
记录流量开始、指标变化、目标副本变化、Pod 创建、调度、镜像准备、就绪、实际接流量的时间。再看用户错误、等待和下游压力。这样才能知道慢在观测、调度、启动还是数据库,而不是只看到最终副本变多就宣布成功。
本章的业务流仍是入口到可用程序,再到数据服务;新增的是旁路控制机制。管理能力更强,也需要更清楚的停止、保护和恢复边界。