Spark 任务执行流程?

Spark 执行流程详解。

1. SparkContext 向资源管理器注册并申请运行 Executor，资源管理器分配并启动 Executor
2. Executor 发送心跳至资源管理器，保持通信
3. SparkContext 构建 DAG 有向无环图，将 DAG 分解成 StageTaskSet，把 Stage 发送给 TaskScheduler
4. Executor 向 SparkContext 申请 Task，TaskScheduler 将 Task 和应用程序代码发送给 Executor 运行
5. Task 在 Executor 上运行，运行完毕把结果反馈给 Driver 端，释放所有资源

参考链接

• Spark执行流程详解
• 腾讯微信部门大数据开发面试题-附答案