机器都亮着,顾客却失败:把现场串成一条线
虚构小店的教学场景。规模、耗时和算例不是生产性能承诺;技术方案均需按实际部署核验。
先确认顾客到底失败在哪一步
顾客说:“我付完款没有收到通知,是不是订单没成功?”此时程序、数据库和队列各有日志,机器处理器都不高。没有一条清楚的证据链,值守人员可能把订单成功、支付状态和短信失败混成同一件事。
首先根据业务编号核对真实状态:订单是否存在,支付状态如何,待发送事件是否创建,消息是否投递,工人是否处理,外部平台返回什么。单台机器的绿色状态不等于整个业务流程成功。
三类工具回答三类问题
指标是汇总数字,例如每分钟下单成功数、错误比例、响应时间和队列等待。日志是事件记录,例如某次查询失败或某任务重试。追踪把一次操作的多个调用段关联起来,帮助看到它经过哪些组件、在哪里等。
一个调用段常称 span,可以理解为一小段有开始、结束和结果的工作记录;一组相关调用段形成 trace,即一次操作的路径。先理解作用,再记名字即可。追踪不一定保存每条请求,采样和采集故障都可能造成缺失。
业务路径
观测路径
右侧不在每一条顾客请求的转发链上。采集方式可能同步或异步,成本仍需测量,但不能画成顾客先经过监控再到程序。
工具多,不等于能解释问题
如果日志里没有订单或任务的可关联标识,三个仪表盘仍可能各说各话。先设计“从顾客投诉怎样找到一整条记录”,再选择工具和保存哪些数据。过多无用日志会增加费用、噪声和隐私风险。
请求编号怎样穿过程序与后台
一个编号解决不了所有关系
网页请求编号用于定位一次 HTTP 操作,订单编号代表业务对象,任务编号代表后台工作,追踪上下文用于关联调用。它们可以互相关联,但不应该全部混为同一个字段。顾客查询同一订单会产生多次请求,通知重试也可能产生多次执行。
入口可以生成或规范化请求标识,程序向下游传递受控上下文。外部输入要验证,避免超长、恶意或冲突值污染记录;也不能把顾客令牌直接当追踪编号。
- 入口→业务程序
转发业务请求,同时传递受控请求标识
← 返回:业务状态和响应 - 业务程序→数据库调用代码
记录查询开始、结束和结果;按工具能力关联
← 返回:查询结果
数据库是否直接支持某种追踪协议取决于工具和实现。应用可以记录数据库调用段,不需要让每条 SQL 都携带私人信息。
到了队列,为什么不能只看原 HTTP 时间?
下单请求已结束,事件可能几秒后才被工人处理。消息可携带合适的关联信息,工人记录任务与原订单的关系;是否延续同一追踪或建立链接取决于观测设计。不要把后台排队十分钟都算成顾客下单 HTTP 请求一直等待。
排查时按顺序核对:事务提交 → 事件可见 → 投递确认 → 消费尝试 → 外部调用 → 结果记录。哪一段缺失,就查看对应组件,而不是看到短信失败便重建订单。
日志内容与权限
尽量记录必要标识、状态、耗时和经过脱敏的错误摘要。不要记录密码、完整授权头、完整 Cookie 或大量顾客个人信息。日志也属于需要访问控制的数据,保存期限应与业务需要匹配。
长时间全量记录会消耗网络、存储和查询资源。采样能降低费用,但某个请求查不到不证明它没有发生;要把业务数据库和其他证据一起看。
保护入口:限流、超时与重试怎样配合
观测告诉我们现场发生什么,保护机制帮助系统不被故障拖垮。假设短信接口变慢,工人全部占住连接,前台又不断重试。如果每层都无限等待与重试,小问题会变成积压。
限流是拒绝一部分工作,不是创造容量
限流按某种标识与规则限制请求进入,例如用户、账号、地址或接口。按 IP 简单,但很多真实顾客可能共享同一出口;按用户更贴近业务,却需要可靠身份。分布式实例之间如何共享计数,也会影响规则是否准确。
Nginx 等入口可提供相应能力,云网关或应用也可实现。不同机制有突发处理、延迟、拒绝和计数误差等取舍。要明确是保护登录接口、下单接口还是整个系统,不能用同一阈值处理所有操作。
超时是给等待设边界
连接超时、读取超时和整个业务操作的总时限不是一个概念。某些配置表示两次读取之间允许等待多久,并非整条响应必须在该时间内完成。设置前要核对产品含义和上下游关系。
上游已经放弃时,下游是否仍在执行也需要考虑。特别是写入,客户端超时不表示操作撤销;应通过业务编号查询结果,避免重复创建。
重试可以救短暂故障,也可以放大故障
如果三层都各重试三次,实际尝试数可能远高于用户的一次点击。要选择适合重试的错误,限制次数与总时间,加入退避和分散,并确保重复请求安全。对非幂等操作不能无脑重放。
先保护关键写入与数据正确性,限制异常进入,核查依赖状态;再决定扩容、降级或恢复。不要为了让错误率看起来低而让所有请求无限等待。
从仪表盘到行动:怎样选择和验收观测方案
OpenTelemetry、Prometheus、Grafana 分别在哪?
OpenTelemetry 提供生成、传递和收集观测数据的一套工具与规范;Prometheus 常用于指标采集与查询;Grafana 常用于展示和探索数据。它们并不是把名字排在一起就自动组成完整系统,还需要数据存储、采集配置、权限和告警流程。
托管观测平台减少部分存储和维护工作,但要评估数据量、保留、查询费用、地区和权限;自建控制力更强,也需要容量、升级和故障恢复。选择应从排查问题出发,不必一次收集所有可能数据。
什么告警值得把人叫醒?
优先关注用户实际受影响的信号,例如下单成功率显著下降、关键延迟超出目标、最老任务等待过久。单个 CPU 瞬时尖峰可能只是正常工作,频繁无意义告警会让人忽视真正故障。
每条重要告警应有负责人、查看入口、处置步骤和恢复判断。告警送到聊天工具并不等于问题已经有人处理。
怎样验证观测不是摆设?
在隔离环境制造一个可控失败:数据库连接错误、队列消息处理失败或外部接口超时。检查能否从用户请求定位到原因,记录是否脱敏,告警是否到达,以及恢复后能否确认积压清理和业务正确。
把此次排查结论写入运行说明:症状、证据、根因、修复、预防。真正收益是发现和恢复更快,而不是仪表盘更漂亮。业务路径没有因为监控增加就多一层必经网关,这是本章图中必须保持的边界。