考试报名
考试报名
考试内容
考试大纲
在线客服
返回顶部

备考刷题,请到

CDA认证小程序

spark 的master和worker通过什么方式进行通信的?( )
A. http
B. nio
C. netty
D. Akka
上一题
下一题
收藏
点赞
评论
题目解析
题目评论(0)

正确答案是:C: netty

分析:

在早期的 Spark 版本(1.x 及之前),Spark 使用 Akka 作为其底层通信机制。Akka 是一个用于构建分布式系统的工具包和运行时,提供了 Actor 模型和远程通信功能。然而,随着 Spark 的发展,开发团队发现 Akka 在大规模通信场景下存在一些性能和可扩展性的问题。

因此,从 Spark 2.0 开始,Spark 改用了 Netty 作为其底层通信框架。Netty 是一个基于 Java 的异步事件驱动网络应用程序框架,广泛用于高性能网络应用程序的开发。它支持 TCP 和 UDP 协议,提供了更好的性能、可扩展性和灵活性。

Netty 的使用使得 Spark 可以更高效地处理节点之间的大量数据传输,特别是在集群规模较大的情况下,通信的稳定性和效率得到了显著提升。

因此,Spark 的 master 和 worker 之间通过 Netty 进行通信。