第21篇：机器学习项目上线后要监控什么——从特征漂移到效果衰减

很多人一开始做机器学习项目的时候，会把“上线”想成一个终点。

线下训练好了。
测试集也过了。
接口接好了。
模型发到线上。
好像项目就结束了。

但真正做过一段时间以后，你会发现：

上线不是终点，而是模型第一次进入真实世界。

而真实世界有一个很麻烦的特点：

它不会老老实实保持不变。

用户会变。
场景会变。
业务规则会变。
流量来源会变。
数据质量也会变。

所以机器学习模型上线以后，不是“放那儿自动一直有效”，而是需要你持续盯着看。

否则很容易发生一种情况：

• 模型上线时还挺正常
• 两周后开始变差
• 一个月后业务已经明显受影响
• 但团队可能还没意识到问题到底从哪开始的

这就是为什么成熟一点的机器学习项目，都会强调一件事：

模型上线后必须监控。

这一篇我们就专门讲清楚：

• 为什么要监控
• 到底该监控什么
• 哪些指标一旦变化，就说明模型可能出问题了
• 数据漂移、分数漂移、效果衰减分别是什么
• 什么时候该重训，什么时候先查链路

---

1. 为什么机器学习模型上线以后一定要监控

先说最底层的原因。

普通代码上线以后，只要逻辑没写错，很多时候它的行为是比较稳定的。
比如一个加法函数，今天算 2+3 是 5，明天也还是 5。

但机器学习模型不一样。

模型的输出不仅取决于代码逻辑，还取决于：

• 当前输入数据长什么样
• 输入数据的分布有没有变化
• 业务环境有没有变化
• 线上特征是否正常产出
• 模型学到的规律是不是还成立

也就是说，模型本身虽然没变，但它面对的世界在变。
世界一变，它的表现就可能跟着变。

所以监控的本质，不是“盯代码”，而是：

盯模型和真实世界之间的关系是不是开始松动了。

---

2. 监控不是一件事，而是三类事

很多人一说监控，就会想成“看模型准确率”。
但真正的线上监控，其实至少要分成三层。

第一层：数据监控

先看输入是不是正常。

第二层：预测监控

再看模型输出是不是正常。

第三层：效果监控

最后看它对真实业务结果是不是还有效。

这三层特别重要，因为它们回答的是三个不同的问题：

• 数据是不是变了？
• 模型行为是不是变了？
• 业务结果是不是变差了？

如果你只盯最后一层，有时会发现得太晚。
如果你只盯前两层，又可能知道数据异常，但不知道业务到底受没受影响。

所以监控不能只看一个点。

---

3. 第一层：数据监控，到底在看什么

这一层的逻辑最朴素。

模型之所以会出问题，很多时候不是模型突然坏了，
而是：

喂给模型的数据开始不正常了。

所以第一层监控，通常盯的是输入特征。

---

3.1 先看特征有没有正常产出

这是最基础但最容易出事故的地方。

比如：

• 某个字段线上突然全空
• 某个特征全都变成默认值
• 某个时间特征因为时区问题整体错位
• 某个统计特征更新链路断了
• 某个类别特征编码表没同步

这些问题不一定会让程序报错。
模型照样能跑，接口照样能返回分数。
但预测结果会悄悄变味。

所以最基础的监控包括：

• 缺失率
• 默认值比例
• 取值范围
• 类别数量
• 是否出现非法值

比如你可以监控：

• recent_login_days 这个特征平时缺失率 2%，今天突然变成 35%
• avg_order_price 平时范围在 10 到 300，今天大量出现 -1
• 某个 one-hot 类别本来有 20 种，今天只剩 3 种

这些都值得立刻警惕。

---

3.2 再看特征分布有没有漂移

即使特征链路没断，数据分布也可能悄悄变化。

比如：

• 用户年龄结构变了
• 商品价格带变了
• 新渠道流量进来了
• 某类设备激增了
• 高活跃用户比例下降了

这类问题不会像“全空值”那样显眼，但影响往往更深。

所以常见做法是去看：

• 均值
• 中位数
• 方差
• 分位数
• 类别占比
• 缺失率变化

比如一个很典型的情况：

以前用户最近 7 天活跃次数，大多数在 1 到 5 次。
最近一个月突然大量集中在 0 到 1 次。

这可能意味着：

• 用户活跃度整体下滑了
• 产品环境变了
• 某个行为埋点有问题
• 或者模型已经开始面对一个新世界

---

3.3 监控要看整体，也要看分群

只看全局平均值有时候不够。

因为很多变化不是全量一起变，而是某些群体先变。

比如：

• 新用户分布在变，老用户没变
• 某个城市在变，其它城市没变
• 安卓端在变，iOS 端没变
• 某个渠道流量结构变了，但整体平均看不出来

所以更稳一点的做法是：

全局监控 + 分群监控

常见分群方式包括：

• 用户新老
• 地区
• 渠道
• 设备
• 品类
• 版本号
• 时间段

很多线上事故，其实都是全局看不明显，但某个分群已经明显漂了。

---

4. 第二层：预测监控，在看模型“输出有没有变味”

输入变了是一回事，
模型最终吐出来的分数和结果有没有变化，是另一回事。

所以第二层监控，盯的是：

模型输出本身。

---

4.1 最常见的是看预测分数分布

比如一个二分类模型，平时输出概率大概是：

• 大多数在 0.1 到 0.4
• 少数样本在 0.8 以上

如果某天你发现：

• 大量样本突然都在 0.95 左右
• 或者大多数样本都压到 0.02 以下
• 或者分数整体明显右移/左移

这通常说明有事发生了。

可能是：

• 输入特征变了
• 特征工程线上线下不一致
• 某些字段异常
• 业务环境真的变了

所以模型分数分布是一个非常值得盯的信号。

你可以监控：

• 分数均值
• 分数分位数
• 高分样本比例
• 低分样本比例
• 不同分群的分数分布

---

4.2 也可以看预测类别占比

如果你的模型最终会落成一个二分类结果，比如：

• 是否高风险
• 是否流失
• 是否推荐

那你也可以直接看：

• 正类比例有没有突变
• 高风险用户比例有没有异常飙升
• 推荐命中样本比例有没有突然下降

比如平时模型判高风险比例大概 5%，
最近三天突然变成 18%。

这时候不一定说明风险真的变高了，
也可能是模型输入或者分布出了问题。

所以预测类别占比虽然简单，但非常实用。

---

4.3 要看稳定性，不只是看“这次值高不高”

监控有个很容易犯的错误：

只看某个数值本身高不高。
但很多时候，更重要的是看：

它和过去相比稳不稳。

比如：

• 分数均值平时在 0.35 左右波动
• 最近突然连续几天变到 0.52

哪怕 0.52 本身不是一个“离谱数字”，
它也值得怀疑，因为它偏离了历史稳定区间。

所以很多监控其实不是绝对阈值，而是：

• 环比
• 同比
• 历史窗口对比
• 异常波动检测

你真正想盯的是：

模型输出是不是开始不像它平时那样了。

---

5. 第三层：效果监控，模型对业务到底还有没有用

这是最关键的一层，但往往也是最慢的一层。

因为真实业务结果不一定能立刻拿到。
比如：

• 贷款是否违约，要过一段时间才知道
• 用户是否流失，要等观察窗口结束
• 推荐是否转化，需要等行为回流
• 风控是否拦住坏样本，要等结果确认

也就是说，效果监控常常有标签延迟。

但即便慢，它依然是最重要的。
因为前两层监控能告诉你“可能不对劲”，
真正决定模型有没有价值的，还是：

最终结果有没有变差。

---

5.1 常见效果指标要和业务动作绑在一起

比如：

风控模型

你可能关心：

• 坏样本召回率
• 审核通过率
• 坏账率
• 人审量

推荐模型

你可能关心：

• 点击率
• 转化率
• 停留时长
• 购买率

流失模型

你可能关心：

• 干预后的留存提升
• 命中人群的流失率
• 干预成本收益比

所以效果监控不是单纯看机器学习指标，
而是要看：

模型输出有没有真正转化成业务价值。

---

5.2 有时模型指标还行，但业务效果已经不好了

这件事在真实项目里很常见。

比如：

• 模型排序能力还在
• AUC 看着没太大波动

但业务端发现：

• 运营命中的用户越来越没反应
• 风控审核成本越来越高
• 推荐虽然点了，但买得少了

这时候你会发现：

模型“统计意义上的表现”没有完全崩，
但它“业务意义上的价值”已经在掉。

这说明什么？

说明监控不能只盯模型指标本身，
还要盯它进入业务链路后的实际结果。

---

6. 特征漂移、分数漂移、效果衰减，这三件事要分清

这三个词经常会一起出现，但它们不是一回事。

---

6.1 特征漂移

指的是输入特征的分布变了。

比如：

• 均值变了
• 缺失率变了
• 类别占比变了
• 数值区间变了

这是在输入侧发生的变化。

---

6.2 分数漂移

指的是模型输出的分数分布变了。

比如：

• 高分变多了
• 整体概率抬高了
• 某个群体分数突然偏高

这不一定说明模型效果已经变差，
但通常说明模型“看世界的方式”已经受到影响。

---

6.3 效果衰减

指的是模型对真实业务结果的帮助变差了。

比如：

• 召回率下降
• 干预收益下降
• 转化率下降
• 风险识别能力下降

这是最靠近业务的一层。

所以可以把三者理解成：

• 特征漂移：输入变了
• 分数漂移：模型行为变了
• 效果衰减：业务结果变差了

很多时候，这三件事会串成一条链：

输入变了 → 输出变了 → 业务效果掉了

但也不总是完全同步，所以监控时最好三层都看。

---

7. 什么时候你该怀疑：模型可能需要重训了

这个问题每个团队都会问，而且没有一个万能阈值。
但通常你可以从这些迹象来判断。

第一，特征分布持续漂移

不是某天偶然波动，而是连续一段时间都和训练时期明显不同。

第二，模型分数分布稳定偏移

说明模型在新环境下的判断基准可能已经不适配。

第三，效果指标持续走弱

而且不是某次活动、某个节假日带来的短期波动。

第四，业务机制本身发生明显变化

比如：

• 产品改版
• 策略调整
• 新渠道引入
• 规则重构

这时候即使你还没看到明显掉分，也该提前警惕。

第五，新的可用数据已经积累够多

如果新环境下已经有一批更新的数据，重训通常是合理动作。

所以重训不是“隔多久机械跑一次”，
更好的方式是：

结合漂移、效果和业务变化一起判断。

---

8. 但不是一看到波动就立刻重训

这点也很重要。

有些团队看到指标一掉，就立刻重训。
这其实未必是最优动作。

因为问题可能根本不是模型本身，而是：

• 线上特征链路异常
• 数据处理口径变了
• 标签回流延迟
• 某次活动造成短期扰动
• 某些人群流量突然变化

如果不先排查原因，直接重训，很可能只是把问题重新训练进模型里。

所以更稳的处理顺序通常是：

1. 先查线上链路是不是正常
2. 再看分布漂移是不是暂时性的
3. 再看效果衰减是不是持续的
4. 最后再决定要不要重训

也就是说：

监控发现异常，不等于立刻重训；它首先意味着你该开始诊断。

---

9. 一个比较完整的监控清单可以长什么样

如果你想给读者一个更落地的感觉，可以直接给出一份结构化清单。

---

数据层监控

看输入是否正常：

• 各特征缺失率
• 默认值比例
• 取值范围
• 均值 / 分位数变化
• 类别占比变化
• 埋点字段是否完整
• 特征生成是否延迟

---

模型输出层监控

看模型行为是否正常：

• 预测分数均值
• 分数分位数
• 高分样本比例
• 各分群分数分布
• 最终预测类别占比
• 每日 / 每小时波动

---

业务效果层监控

看业务价值是否还在：

• 召回率 / 命中率
• Precision / Recall / F1 / AUC（回流后）
• 风险识别效果
• 干预转化率
• 业务收益 / 成本变化
• 不同分群效果对比

---

稳定性层监控

看有没有局部翻车：

• 新老用户分别表现
• 渠道分群表现
• 城市 / 品类 / 设备分群表现
• 时间段波动
• 版本更新前后对比

这样一来，你的监控就不是“盯一个总分”，而是有层次地盯整个链路。

---

10. 为什么成熟团队越来越重视“监控”而不是只重视“建模”

这是一个特别现实的变化。

机器学习刚开始做时，大家会更兴奋于：

• 模型换成什么
• 指标能不能再高一点
• 参数能不能再优化一点

但做久了以后，真正让团队吃过亏的，往往不是“模型不够先进”，而是：

• 上线后没人盯
• 分布变了没发现
• 效果掉了两周后才知道
• 链路早出问题了但没人报警
• 业务方先发现模型失灵，技术侧后知后觉

所以越成熟的团队，越会意识到：

模型上线之后，监控和迭代能力，和建模能力一样重要。

甚至很多时候更重要。

因为一个再强的模型，如果没人盯它，它迟早也会在变化的环境里老化。

---

11. 这一篇真正想让读者建立的，不是“多看几个指标”，而是“模型是活在环境里的”

我觉得这是第21篇最重要的感觉。

很多人学机器学习，前期容易把模型看成一个静态对象：

• 训练好
• 保存下来
• 部署上去
• 一直用

但真实世界不是静态的。
模型也不是活在真空里。

它活在：

• 会变的用户
• 会变的业务
• 会变的特征
• 会变的场景
• 会变的目标

所以你不能只问：

这个模型训练时好不好？

你还得持续问：

它现在还适不适应当前世界？

而监控，本质上就是在帮你回答这个问题。