本题考察的是模型部署后的监控难题(Label Delay)。
• A项(工程思维陷阱):虽然工程监控(Latency/QPS)是必须的,但它无法发现“模型失效”或“概念漂移”的问题。模型可能跑得很快,但给出的价格完全离谱。
• B项(正确实践):在业务现场,往往无法第一时间拿到Label(或者Label获取成本极高)。此时,业界通用的做法是监控数据分布的变化。PSI(Population Stability Index)是衡量分布偏移的核心指标。如果输入特征分布变了(例如暴雨导致空车数特征异常),或者模型输出分布变了(例如预测均价突然整体上浮20%),说明模型可能已经不再适应当前环境,需要介入。这是最前置、最主动的业务监控手段。
• C项(滞后指标):客诉属于极其滞后的指标,等到客诉爆发,业务损失已经造成,不符合“风险预警”的初衷。
• D项(落地性差):打扰用户体验,且数据稀疏,不可作为核心监控手段。