酒店业务 · v3.8.0 发布事故
酒店推荐策略发布后,下单转化率异常下降
从风险发现到恢复验证,完整看懂 ReleaseGuard AI 如何帮助业务团队做出有证据、可控的发布决策。
事故起点
发生了什么?
酒店业务团队发布 v3.8.0,调整了酒店搜索结果中的个性化推荐策略。发布前,酒店搜索 → 下单转化率为 12.4%,个性化推荐权重为 0.35。
发布后约 2 小时,下单转化率降至 9.1%,下降 3.3 个百分点(相对下降 26.6%),并持续超过 30 分钟。这不再是一次短暂波动,而是需要调查的业务风险。
风险触发
为什么系统发现了风险?
为什么触发风险?
因为下单转化率下降 3.3 个百分点(相对下降 26.6%),相对降幅已经超过团队预设的 15% 风险阈值,并持续超过 30 分钟。
规则从哪里来?风险标准由业务团队提前设定,AI 负责发现异常后的调查。查看依据
- 发布前 7 日基线转化率:12.4%
- 发布后转化率:9.1%
- 绝对下降:3.3 个百分点
- 相对过去 7 日基线下降:26.6%
- 团队预设规则:相对下降 ≥15%,且持续 ≥30 分钟
提出方向
Agent 为什么提出这些可能原因?
Agent 不会直接认定某一个方向就是根因。它先形成多个可能原因,再通过证据逐一验证和排除。
新版排序策略导致高价酒店曝光增加
为什么考虑异常发生在版本发布后,本次发布又直接修改了酒店推荐排序策略,因此它与当前异常同时具备时间相关性、变更相关性和业务链路相关性,应当优先调查。
库存/价格服务异常
为什么考虑即使推荐排序正常,如果库存或价格接口异常,也可能导致用户看到错误价格、无法选择房型或无法正常完成下单,因此需要作为替代原因排查。
用户流量结构变化
为什么考虑整体转化率下降可能不是产品能力下降,而是由低意向流量、新用户比例或渠道结构变化造成,因此需要排除“用户变了”这一可能。
为什么是这三个调查方向?
三个原因不是随机生成的,而是分别对应发布变更、系统服务、用户结构三个常见调查方向。Agent 同时保留这些可能,再用证据逐个验证。
查看依据
- 发布变更:本次版本直接调整推荐排序策略
- 系统服务:库存或价格异常也会阻断正常下单
- 用户结构:流量质量变化也可能拉低整体转化率
寻找证据
Agent 如何寻找证据?
Agent 调用业务工具,对照发布变更、业务指标、用户反馈、服务健康和流量结构,既寻找支持证据,也主动寻找反证。
形成判断
Agent 如何从证据得到根因?
新版排序策略导致高价酒店曝光增加多项证据支持
库存/价格服务异常当前证据不支持
用户流量结构变化当前证据不支持
为什么越来越支持新版排序策略?
多项独立证据形成了连续因果链:推荐权重提高后,高价酒店获得更多曝光,价格相关负面反馈随之增加,同时下单转化率下降。
查看依据
- 推荐权重:0.35 → 0.55
- 高价酒店 Top 10 曝光:31% → 52%
- “推荐酒店太贵”等负面反馈明显增加
- 下单转化率:12.4% → 9.1%
为什么基本排除库存/价格服务?
如果库存/价格服务是主要原因,通常应该伴随成功率下降、延迟升高或明显服务异常;当前没有观察到这些信号。
因此目前没有证据支持服务异常是主要原因,但不表示它在任何情况下都绝对不可能。查看依据
- 库存/价格服务成功率:99.96%
- P95 延迟:无明显异常
为什么基本排除用户流量结构?
如果转化率下降主要来自流量质量变化,通常会观察到新老用户占比或主要渠道结构明显变化;当前没有观察到这些变化。
因此当前证据不支持流量结构变化是主要原因。查看依据
- 新老用户比例:无显著变化
- 主要渠道分布:无显著变化
最终诊断v3.8.0 提高个性化推荐权重后,高价酒店获得更多曝光,降低用户下单意愿,是本次转化率下降的主要原因。
安全处置
为什么需要人工审批?
将个性化推荐权重从 0.55 回滚至 0.35,恢复上一版本排序策略。
为什么优先建议回滚?
当前最强证据指向本次推荐权重调整,而 0.35 是发布前已稳定运行的配置,因此回滚是当前证据下优先推荐的低风险处置方案。
回滚不是唯一正确方案,是否执行仍由业务负责人审批决定。查看依据
- 变更范围小
- 恢复路径明确
- 可以快速验证当前根因判断
- 相比继续在线修改新策略,风险更可控
Agent 负责调查、证据整理和提出建议;业务负责人决定是否执行影响线上业务的操作。建议不会被 Agent 自动直接执行。
恢复确认
执行后如何验证恢复?
人工批准并完成回滚后,Agent 继续检查核心业务指标是否恢复,而不是把“动作已执行”误当成“问题已解决”。
为什么认为问题已经恢复?
回滚后,业务核心指标和中间行为指标同时向发布前状态恢复,因此可以判断风险已经解除。
这不仅说明业务恢复,也进一步增强了此前根因判断的可信度。查看依据
- 下单转化率:9.1% → 12.0%,发布前基线为 12.4%
- 高价酒店 Top 10 曝光:52% → 33%,发布前为 31%
业务价值
ReleaseGuard AI 完成了什么?
ReleaseGuard AI 是一个发布风险调查与处置 Agent。当业务指标在发布后出现异常,它会自动发现风险、提出多个可能原因、调用业务工具寻找证据、排除错误方向、形成根因判断和处置建议,并在人工审批后继续验证业务是否恢复。