考试报名
考试报名
考试内容
考试大纲
在线客服
返回顶部

备考刷题,请到

CDA认证小程序

你所在的团队负责某大型公有云平台的“竞价实例(Spot Instances)”智能调度系统。竞价实例允许用户以大幅折扣(通常为按需价格的10%-20%)购买闲置算力,但云平台保留在资源紧张时强制回收(Pre-empt)这些实例的权利。 为了降低用户的使用风险并优化平台的资源利用率,团队需要构建一个“实例中断概率预测模型”。 ##### 输入数据: - 集群状态数据:过去30天的集群CPU/内存水位、历史供需曲线(分钟级)。 - 用户画像数据:用户历史出价行为、作业类型(Web服务/离线计算)、历史续费率、所属行业。 - 实例特征:实例规格(如8核16G)、所在的可用区(AZ)、运行时长。 - o 预测目标:预测当前运行的实例在未来1小时内是否会被系统强制回收(Binary Classification)。 ##### 业务约束: 1. 极度不平衡:实际发生强制回收的概率极低(约1%),样本极度不平衡。 2. 非对称成本:如果模型漏报(FN),导致用户作业运行中途被杀且无预警,平台需支付高额SLA赔偿且严重损害商誉;如果模型误报(FP),导致用户提前迁移作业,仅造成少量的计算成本浪费。 3. 时效性:模型需支持近实时推断。 (5)经过多轮迭代,新模型的离线测试集AUC达到了0.88,相比旧模型(AUC 0.75)有显著提升。然而,当把模型输出的概率值直接作为“中断风险系数”传递给下游的竞价系统进行自动化出价(风险越高,出价越低以对冲成本)时,业务效果反而下降了——竞价系统经常在低风险时出价过低导致拿不到机器,或在高风险时出价过高导致亏损。经过分析发现,虽然模型排序能力(Ranking)很强,但输出的概率值偏离了真实概率(例如模型预测0.6,实际真实中断率仅为0.2)。 为了解决这个问题,在评估阶段除了关注AUC,必须引入以下哪个步骤?
A. 引入混淆矩阵(Confusion Matrix),寻找最佳的F1-Score阈值。
B. 计算KS统计量(Kolmogorov-Smirnov),确保正负样本分布差异最大化。
C. 进行概率校准(Probability Calibration),并使用LogLoss作为核心评估指标。
D. 使用SHAP值分析,确保所有特征的贡献度是合理的。
上一题
下一题
收藏
点赞
评论
题目解析
题目评论(0)

本题考察模型评估指标的局限性与概率校准的重要性。 • C选项(正确):AUC仅衡量模型的排序能力(即:正样本的得分是否高于负样本),它对绝对数值不敏感。如果模型将所有正样本预测为0.51,负样本预测为0.49,AUC可能是1.0,但这个0.51的概率值在下游作为“风险系数”使用时是完全错误的。 当业务场景不仅仅是做二分类决策(Yes/No),而是依赖预测的绝对概率值进行期望计算(如:期望收益 = 价格 * (1-中断率))时,必须进行概率校准(如使用Isotonic Regression或Platt Scaling),并使用LogLoss这种能够衡量概率准确性的指标来评估模型。 • A、B选项:F1-Score和KS依然是基于阈值或排序的指标,无法解决概率值本身未校准的问题。 • D选项:SHAP用于解释性,不解决概率偏差问题。