RReleaseGuard AI发布风险调查与处置 Agent
最佳实践演示案例 · 非生产数据

酒店业务 · v3.8.0 发布事故

酒店推荐策略发布后,下单转化率异常下降

从风险发现到恢复验证,完整看懂 ReleaseGuard AI 如何帮助业务团队做出有证据、可控的发布决策。

发布前转化率12.4%过去 7 日基线
发布后转化率9.1%下降 3.3 个百分点 · 相对下降 26.6%
异常出现约 2 小时发布后
异常持续超过 30 分钟达到风险条件
01

事故起点

发生了什么?

酒店业务团队发布 v3.8.0,调整了酒店搜索结果中的个性化推荐策略。发布前,酒店搜索 → 下单转化率12.4%,个性化推荐权重为 0.35

发布后约 2 小时,下单转化率降至 9.1%,下降 3.3 个百分点(相对下降 26.6%,并持续超过 30 分钟。这不再是一次短暂波动,而是需要调查的业务风险。

02

风险触发

为什么系统发现了风险?

团队预先配置的风险策略酒店下单转化率相对过去 7 日基线下降 ≥15%,且持续 ≥30 分钟 → 识别为发布风险。
为什么

为什么触发风险?

因为下单转化率下降 3.3 个百分点(相对下降 26.6%),相对降幅已经超过团队预设的 15% 风险阈值,并持续超过 30 分钟。

规则从哪里来?风险标准由业务团队提前设定,AI 负责发现异常后的调查。
查看依据
  • 发布前 7 日基线转化率:12.4%
  • 发布后转化率:9.1%
  • 绝对下降:3.3 个百分点
  • 相对过去 7 日基线下降:26.6%
  • 团队预设规则:相对下降 ≥15%,且持续 ≥30 分钟
1指标异常
2风险规则触发
3创建风险记录
4开始业务调查
03

提出方向

Agent 为什么提出这些可能原因?

Agent 不会直接认定某一个方向就是根因。它先形成多个可能原因,再通过证据逐一验证和排除。

A可能原因 A

新版排序策略导致高价酒店曝光增加

为什么考虑

异常发生在版本发布后,本次发布又直接修改了酒店推荐排序策略,因此它与当前异常同时具备时间相关性、变更相关性和业务链路相关性,应当优先调查。

发布时间相关变更相关业务链路相关
B可能原因 B

库存/价格服务异常

为什么考虑

即使推荐排序正常,如果库存或价格接口异常,也可能导致用户看到错误价格、无法选择房型或无法正常完成下单,因此需要作为替代原因排查。

系统服务
C可能原因 C

用户流量结构变化

为什么考虑

整体转化率下降可能不是产品能力下降,而是由低意向流量、新用户比例或渠道结构变化造成,因此需要排除“用户变了”这一可能。

用户结构
为什么

为什么是这三个调查方向?

三个原因不是随机生成的,而是分别对应发布变更、系统服务、用户结构三个常见调查方向。Agent 同时保留这些可能,再用证据逐个验证。

查看依据
  • 发布变更:本次版本直接调整推荐排序策略
  • 系统服务:库存或价格异常也会阻断正常下单
  • 用户结构:流量质量变化也可能拉低整体转化率
04

寻找证据

Agent 如何寻找证据?

Agent 调用业务工具,对照发布变更、业务指标、用户反馈、服务健康和流量结构,既寻找支持证据,也主动寻找反证。

查看什么发现什么对判断的影响
发布变更v3.8.0 将个性化推荐权重从 0.35 提高至 0.55支持可能原因 A
业务指标高价酒店 Top 10 曝光占比从 31% 上升至 52%支持可能原因 A
用户反馈“推荐酒店太贵”等价格相关负面反馈明显增加支持可能原因 A
库存/价格服务成功率 99.96%,P95 延迟无明显异常反驳可能原因 B
流量结构新老用户比例与主要渠道分布均无显著变化反驳可能原因 C
05

形成判断

Agent 如何从证据得到根因?

A

新版排序策略导致高价酒店曝光增加多项证据支持

B

库存/价格服务异常当前证据不支持

C

用户流量结构变化当前证据不支持

1推荐权重提高
2高价酒店曝光增加
3价格负面反馈增加
4下单转化率下降
为什么

为什么越来越支持新版排序策略?

多项独立证据形成了连续因果链:推荐权重提高后,高价酒店获得更多曝光,价格相关负面反馈随之增加,同时下单转化率下降。

查看依据
  • 推荐权重:0.35 → 0.55
  • 高价酒店 Top 10 曝光:31% → 52%
  • “推荐酒店太贵”等负面反馈明显增加
  • 下单转化率:12.4% → 9.1%
为什么

为什么基本排除库存/价格服务?

如果库存/价格服务是主要原因,通常应该伴随成功率下降、延迟升高或明显服务异常;当前没有观察到这些信号。

因此目前没有证据支持服务异常是主要原因,但不表示它在任何情况下都绝对不可能。
查看依据
  • 库存/价格服务成功率:99.96%
  • P95 延迟:无明显异常
为什么

为什么基本排除用户流量结构?

如果转化率下降主要来自流量质量变化,通常会观察到新老用户占比或主要渠道结构明显变化;当前没有观察到这些变化。

因此当前证据不支持流量结构变化是主要原因。
查看依据
  • 新老用户比例:无显著变化
  • 主要渠道分布:无显著变化
最终诊断

v3.8.0 提高个性化推荐权重后,高价酒店获得更多曝光,降低用户下单意愿,是本次转化率下降的主要原因。

06

安全处置

为什么需要人工审批?

Agent 处置建议

将个性化推荐权重从 0.55 回滚至 0.35,恢复上一版本排序策略。

当前状态等待人工审批
为什么

为什么优先建议回滚?

当前最强证据指向本次推荐权重调整,而 0.35 是发布前已稳定运行的配置,因此回滚是当前证据下优先推荐的低风险处置方案。

回滚不是唯一正确方案,是否执行仍由业务负责人审批决定。
查看依据
  • 变更范围小
  • 恢复路径明确
  • 可以快速验证当前根因判断
  • 相比继续在线修改新策略,风险更可控

Agent 负责调查、证据整理和提出建议;业务负责人决定是否执行影响线上业务的操作。建议不会被 Agent 自动直接执行。

07

恢复确认

执行后如何验证恢复?

人工批准并完成回滚后,Agent 继续检查核心业务指标是否恢复,而不是把“动作已执行”误当成“问题已解决”。

下单转化率9.1% → 12.0%发布前基线 12.4%
高价酒店 Top 10 曝光占比52% → 33%发布前 31%
验证结论通过核心业务指标恢复
为什么

为什么认为问题已经恢复?

回滚后,业务核心指标和中间行为指标同时向发布前状态恢复,因此可以判断风险已经解除。

这不仅说明业务恢复,也进一步增强了此前根因判断的可信度。
查看依据
  • 下单转化率:9.1% → 12.0%,发布前基线为 12.4%
  • 高价酒店 Top 10 曝光:52% → 33%,发布前为 31%
验证通过 → 风险解除 → 调查关闭
08

业务价值

ReleaseGuard AI 完成了什么?

ReleaseGuard AI 是一个发布风险调查与处置 Agent。当业务指标在发布后出现异常,它会自动发现风险、提出多个可能原因、调用业务工具寻找证据、排除错误方向、形成根因判断和处置建议,并在人工审批后继续验证业务是否恢复。

自动发现风险验证多个原因整理业务证据排除错误方向提出处置建议审批后验证恢复