1月29总结

随笔6天前发布 李子成
20 0 0

今日了解了

StandAlone集群在进程上主要有3类进程:

主节点Master进程:

Master角色, 管理整个集群资源,并托管运行各个任务的Driver

 

从节点Workers:

 Worker角色, 管理每个机器的资源,分配对应的资源来运行Executor(Task);

每个从节点分配资源信息给Worker管理,资源信息包含内存Memory和CPU Cores核数

 

历史服务器HistoryServer(可选):

 Spark Application运行完成以后,保存事件日志数据至HDFS,启动HistoryServer可以查看应用运行相关信息。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...