订单已经成功,为什么还要等短信?
虚构小店的教学场景。规模、耗时和算例不是生产性能承诺;技术方案均需按实际部署核验。
把顾客必须等待的事,与可以稍后完成的事分开
顾客点击下单,程序保存订单、修改库存,然后调用短信平台,最后生成一张订单文件。短信平台偶尔等三秒,顾客看到页面一直转,又点了一次。程序服务器不一定计算很忙,却有越来越多请求占着连接等待。
升级机器可以容纳更多等待,但不能让外部短信平台立刻回复。更重要的问题是:订单是否必须等短信成功,才能告诉顾客已经创建?通常业务可以把这两种状态分开,但要明确告诉用户“订单已创建”并不等于“短信已送达”。
队列不是加速器,而是交接处
消息队列保存待处理的信息,后台工人领取后执行。它把发送方和处理方的时间安排拆开:前台先完成必须可靠提交的部分,后台按能力做后续工作。任务本身并没有凭空减少,甚至需要额外的投递和确认。
前台请求处理
后台任务处理
这是职责分组;投递程序和工人可以作为独立进程或独立部署运行。队列不必位于浏览器到业务程序之间,顾客也不直接连接后台队列。
哪些事不能随便挪到后台?
如果顾客收到“下单成功”,至少需要业务定义的订单状态可靠成立。不能只是把“以后尝试创建订单”丢进队列就返回已创建,除非产品明确采用异步受理语义并提供状态查询。库存预留、支付确认等业务也各有状态和失败处理要求。
可以后台做的常见工作包括通知、导出、缩略图和某些统计。是否允许延迟由业务决定;队列不是把所有慢事情藏起来的借口。
订单保存与任务发送,为什么不能随便分两步?
第一种漏洞:订单写了,消息没发出去
程序先提交数据库,再向队列发消息,如果这时进程崩溃,订单还在,通知任务却可能丢了。反过来先发消息再写订单,数据库失败时,工人可能为不存在的订单发通知。两个独立系统一般不能靠简单顺序自然成为同一个事务。
把“待发送的意图”先记在订单旁边
在同一个数据库事务里,写订单、库存变化和一条待发送事件。事务提交后,前台可以按业务语义返回订单结果。另一个投递程序持续读取未发送事件,尝试投递队列,确认后更新发送状态。这种做法通常叫事务发件箱。
- 浏览器→入口 → 业务程序
提交订单及唯一业务请求编号
← 返回:订单创建结果或明确失败 - 业务程序→数据库
在同一事务中写订单、库存变化、待发送事件
← 返回:事务提交结果
前台响应返回后,这条 HTTP 请求结束。后台短信不再沿它返回;下图是另一组调用。
- 投递程序→数据库
读取尚未投递的事件
← 返回:事件编号、订单编号与任务内容 - 投递程序→队列
发送该事件
← 返回:接收确认或错误 - 投递程序→数据库
按投递结果更新事件状态
← 返回:写入结果
发送成功但状态更新失败,可能导致再次发送。所以发件箱减少遗漏风险,但并不自动消除重复。
为什么消息里不塞整个世界?
消息可以带事件编号、订单编号、类型和处理所需信息。包含哪些快照与引用,取决于任务是否要保留当时状态、是否允许再查询、数据隐私和消息大小限制。只放订单号很轻,但后来数据变化可能影响结果;放太多又增加耦合和敏感数据传播。
消息结构需要版本和兼容性考虑,不能某次程序升级就让旧队列中的任务全读不懂。也不能把密码和不必要的顾客隐私随意塞进消息。
工人拿到任务后,什么时候才算真正完成
取到消息不等于工作完成
工人取得消息,执行外部调用,成功后再按队列协议确认。不同产品可能使用确认、删除或可见性超时等机制。比如某些队列在消息被领取后暂时不向其他工人展示,超时未完成则可能再次出现;具体规则要查产品。
如果工人发短信成功后、确认消息前崩溃,任务可能再次交给另一个工人。这不是罕见边角,而是可靠任务设计必须考虑的情况。
- 工人→队列
领取任务
← 返回:消息内容及处理凭据 - 工人→短信服务
按业务编号发送通知
← 返回:接受、失败或不确定结果 - 工人→任务状态存储
记录结果或可重试状态
← 返回:状态保存结果 - 工人→队列
按产品协议确认完成
← 返回:确认结果
这是正常成功示例。任何中间步骤失败都需要分析重试与重复;不保证一条固定顺序能覆盖所有外部服务。
“至少一次”意味着可能不止一次
某些队列承诺或采用至少一次交付语义,目的是让任务有机会被重复处理,而不是直接丢掉。但业务必须能安全面对重复。唯一任务编号、数据库约束和外部接口的防重复键可以配合使用。
仅在自己数据库里先写“已发送”再调用短信,会有写成功但短信没发的漏洞;先发再写则可能重复。外部服务是否支持幂等调用、是否可查询结果,决定能做到什么程度。无法完全避免时,要明确可接受的重复与补偿方式,而非宣称绝对只执行一次。
失败多久再试?一直失败怎么办?
立刻无限重试会放大故障。应设置次数、间隔和总时长,逐渐拉长间隔并加入适当分散,避免工人一起冲向恢复中的服务。明显无效的参数错误通常不该和短暂网络失败同样重试。
多次失败的任务需要保留证据并进入待排查路径,常称死信队列。名字听起来吓人,实际就是“自动处理没有解决,留给后续检查”的任务箱。仍要有人负责修复和重新处理,不能搬进去就忘了。
队列能缓冲多久,为什么仍然需要容量规划
假设每秒进入 100 个任务,工人总共每秒完成 80 个,积压每秒增加 20 个。一分钟增加约 1,200 个。若之后进入降到每秒 40 个、处理保持 80 个,理想情况下每秒消化 40 个积压,约 30 秒清完。这里忽略任务差异、重试和超时,是教学模型。
如果长期进入比完成快,再大的队列也只是把等待存得更久。需要扩工人、减少任务成本、限制进入或调整业务。扩工人之前还要确认外部服务和数据库能否承受更多并发。
RabbitMQ、SQS、云消息队列怎么选?
先问需要什么:任务分发还是事件发布、是否需要严格顺序、重复如何处理、峰值多少、单条多大、保留多久、延迟容忍多少。不同队列模式与产品的确认、排序、重试、消费方式和费用不同,不能拿一个功能名就认为语义相同。
自管 RabbitMQ 等方案控制力较强,但需要维护节点、容量、升级和故障恢复;托管队列代管部分基础设施,但有产品限制、费用与云环境依赖。简单低量后台任务也可以先采用数据库任务表等方案,不过竞争领取、重试与监控仍要自己做好。
怎样观察“通知系统是否健康”?
不仅看队列长度,还要看最老任务等待多久、处理成功率、重复与重试、死信数量、外部接口延迟。队列长度为零也可能是生产者根本没投递,所以要把订单、待发送事件和消费结果串起来核对。
这次改造真正带来的变化
顾客不再等待不必要的外部通知,程序与工人可按不同需求扩容,短时高峰可被缓冲。代价是状态更多、结果不再立即全部完成、可能重复以及需要恢复流程。最终要验证“订单可靠成立”和“后续工作最终被处理”,而不是只验证发消息接口返回成功。