考试报名
考试报名
考试内容
考试大纲
在线客服
返回顶部

备考刷题,请到

CDA认证小程序

在广告推荐模型的领域,Facebook 提出的“GBDT+LR”架构经典不衰。该架构的核心逻辑是利用 GBDT 模型将连续特征转化为离散特征,再输入 LR (逻辑回归)进行点击率预估。假设 GBDT 由 N 棵树组成,每棵树有 M 个叶子节点。关于该架构的数学原理与工程实现,下列说法正确的是:
A. 关于输入特征:为了避免维度灾难,LR 的输入并不是所有树的叶子节点,而是仅选择 GBDT 中 Feature Importance 最高的 Top K 个叶子节点进行 Embedding 处理。
B. 关于特征空间:将样本落入的叶子节点索引(Index)进行 One-Hot 编码,生成的特征总维度为 N×M。这本质上是利用树模型对原始特征空间进行了非线性的网格划分(Grid Partitioning),将连续空间映射为高维稀疏的线性可分空间。
C. 关于传递信息:传递给 LR 的特征应当是叶子节点的预测值(Leaf Value/Score)而非索引(Index)。因为 Index 丢失了序关系,而 Leaf Value 保留了 Boosting 算法对残差的拟合幅度,能最大限度地保留 GBDT 的预测能力,类似于 Stacking 的思想。
D. 关于训练方式:为了保证特征变换对最终 CTR 目标是最优的,GBDT 与 LR 必须采用联合训练(End-to-End Joint Training)模式。即利用反向传播算法,将 LR 的梯度回传至 GBDT 以动态调整树的分裂阈值和结构。
上一题
下一题
收藏
点赞
评论
题目解析
题目评论(0)

• A 选项错误:LR 的优势在于处理高维稀疏特征,GBDT+LR 的目的就是扩维,而不是降维。所有树的叶子节点都会被保留,形成N×M的稀疏向量(如果 trees 是共享索引则是总叶子数),并不需要筛选 Top K。 • B 选项正确:这是该架构的灵魂。树的每一条路径代表了一种非线性的特征组合(Feature Interaction),叶子节点代表了输入空间的一个划分区域。通过 One-Hot 索引,我们将“样本落在哪个区域”这一非线性信息变成了 LR 容易处理的稀疏二值特征。 • C 选项错误,且极具迷惑性:如果我们传 Leaf Value,那么 LR 接收到的是 N 个连续数值。此时 LR 只是对 GBDT 的预测结果做了一个线性加权(类似于简单的 Blending/Stacking),模型失去了“将非线性边界转化为线性边界”的能力。使用 Index 的核心目的是分箱(Binning),将连续值离散化,让 LR 能够针对每个“箱子”(即特定的特征组合模式)学习一个独立的权重,而不是依赖于 GBDT 输出的数值大小。 • D 选项错误:经典的 GBDT(基于 CART 或 XGBoost)包含硬切分(Hard Thresholding),其决策边界是不可导的(Step Function),因此无法直接通过梯度下降进行端到端的联合训练。Facebook 原论文中是级联训练(Serial Training):先训练 GBDT,固定树结构后,转换特征再训练 LR。