Spark基础(三)Spark中的任务执行

1038-茹同学

发表文章数:74

热门标签

首页 » 大数据 » 正文

Spark的任务调度

Driver的工作

Spark基础(三)Spark中的任务执行

1、JAR==》DAG
根据客户端提交的jar包划分出来一个个的RDD,根据RDD之间的lineage关系划分DAG。划分DAG的目的是为了划分stage。

2、DAG通过DAGScheller划分为stage===》再划分为taskSet
根据划分出来的DAG,将DAG送个DAGScheduler,接收到DAG之后划分stage,根据stage划分taskSet。

3、将taskSet通过TaskScheduler划分为task

4、task放到executor执行
task分解出来之后,driver与worker进行通讯,将task放到executor中执行。

容错机制

一个application中包含多个job,调用一次action算子,就是一个job。如果rdd的数据要进行修复,可以将rdd数据进行缓存,使用cache或者persist保存到内存或者磁盘中。

但是内存或者磁盘会损坏或者丢失。这时需要将一些比较珍贵的RDD(例如shuffle之后的RDD)通过checkpoint机制进行容错。将数据进行输出到文件中进行存储。可以使用hdfs。

在checkpoint执行之后,已经不再依赖之前的RDD因此与之前RDD的血缘关系已经不存在。

Spark的架构特点

  • 每个Application获取专属的executor进程**(每个executor运行在work节点上。每个executor又对应了不同的task中)**,该进程在Application期间一直驻留,并以多线程方式运行tasks。
  • Spark任务与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以了。
  • 提交SparkContext的Client应该靠近Worker节点(运行Executor的节点),最好是在同一个Rack里,因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行,最好使用RPC将SparkContext提交给集群,不要远离Worker运行SparkContext。
  • Task采用了数据本地性和推测执行的优化机制。

Job、Stage、Task的对应关系如下:
在基于RDD计算时,Task的数量 = RDD的分区数。
Spark基础(三)Spark中的任务执行

Spark基础(三)Spark中的任务执行
一个Spark应用同时执行的任务数 = 用于执行任务的Executor数 * 每个Executor的核数。

Spark基础(三)Spark中的任务执行

标签:

未经允许不得转载:作者:1038-茹同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Spark基础(三)Spark中的任务执行》 发布于2020-12-04

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录