本题考察模型评估指标的局限性与概率校准的重要性。
• C选项(正确):AUC仅衡量模型的排序能力(即:正样本的得分是否高于负样本),它对绝对数值不敏感。如果模型将所有正样本预测为0.51,负样本预测为0.49,AUC可能是1.0,但这个0.51的概率值在下游作为“风险系数”使用时是完全错误的。
当业务场景不仅仅是做二分类决策(Yes/No),而是依赖预测的绝对概率值进行期望计算(如:期望收益 = 价格 * (1-中断率))时,必须进行概率校准(如使用Isotonic Regression或Platt Scaling),并使用LogLoss这种能够衡量概率准确性的指标来评估模型。
• A、B选项:F1-Score和KS依然是基于阈值或排序的指标,无法解决概率值本身未校准的问题。
• D选项:SHAP用于解释性,不解决概率偏差问题。