考试报名
考试报名
考试内容
考试大纲
在线客服
返回顶部

备考刷题,请到

CDA认证小程序

在Spark中,DAG Scheduler的输出形式为( )
A. DAG图
B. Stage
C. TaskSet
D. Task
上一题
下一题
收藏
点赞
评论
题目解析
题目评论(0)

在Spark中,DAG(Directed Acyclic Graph)Scheduler的输出形式为B: Stage。

专业分析:

1. **DAG图**:DAG图是由Spark的逻辑执行计划生成的,它表示了RDD(Resilient Distributed Dataset)之间的依赖关系。DAG图本身不是DAG Scheduler的输出,而是输入之一。

2. **Stage**:DAG Scheduler的主要任务是将DAG图划分为多个Stage。每个Stage是一个任务集,这些任务可以并行执行。Stage是DAG Scheduler的直接输出,因为它负责将逻辑执行计划转换为物理执行计划,通过Stage来管理任务的执行。

3. **TaskSet**:TaskSet是由Task组成的集合,通常与Stage密切相关。每个Stage会被划分为多个TaskSet,这些TaskSet会被提交给Task Scheduler执行。虽然TaskSet是DAG Scheduler处理的一个部分,但它更准确地说是Task Scheduler的输出。

4. **Task**:Task是Spark中最小的执行单元,它是由Task Scheduler负责调度和执行的。Task是Stage的组成部分,但不是DAG Scheduler的直接输出。

综上所述,DAG Scheduler的输出形式为Stage,因为它负责将DAG图分解为多个可以并行执行的Stage。