简述Spark的Job、Stage、Task分别介绍下，如何划分 ？
在 Spark 中，作业的执行可以被细分为 Job、Stage 和 Task 这三个层次，这种划分有助于 Spark 更有效地管理和调度作业。
- Job：当一个 Action 操作被触发时，Spark 提交一个 Job。Job 是 Spark 中最高层次的任务划分，代表一个完整的计算任务。例如，当你调用
collect()或count()时，Spark 会启动一个新的 Job。 -
Stage：每个 Job 会被进一步划分为多个 Stage。Stage 的划分依赖于数据的 Shuffle 需求。Shuffle 是指数据需要重新分配，以便将具有相同键的数据集中到同一个分区中进行处理。每当遇到一个宽依赖（比如
groupBy()或reduceByKey()）时，Spark 就会开始一个新的 Stage。每个 Stage 包含了一系列的转换操作，它们可以进行管道化处理（即串行执行）。 -
Task：每个 Stage 会被进一步细分为多个 Task。每个 Task 对应于 Stage 中的一个数据分区，负责处理该分区的数据。Task 是 Spark 调度的最小单位，它们在集群的不同节点上并行执行。
如何划分：
- Job 的划分：基于 Action 操作。每个 Action 操作触发一个新的 Job。
- Stage 的划分：基于宽依赖（Shuffle 依赖）。每遇到一个宽依赖，就会开始一个新的 Stage。在两个宽依赖之间的操作，可以串行化执行。
- Task 的划分：基于数据分区。每个 Stage 中的任务会根据数据的分区被分为多个 Task，每个 Task 处理一个分区的数据。
应用场景举例：
假设你正在使用 Spark 处理一个大型的日志文件，你想要统计每种日志级别的数量。这个过程可能涉及到：
- 一个
filter转换操作来筛选特定级别的日志。 - 一个
map转换操作来提取日志级别。 - 一个
reduceByKey转换操作来统计每个级别的数量。 - 最后，一个
collect行动操作来收集结果。
在这个例子中，当你调用 collect() 时，Spark 会提交一个 Job。这个 Job 会被分为两个 Stage（因为 reduceByKey 需要一个 Shuffle），第一个 Stage 处理 filter 和 map，第二个 Stage 处理 reduceByKey。每个 Stage 会根据数据的分区进一步细分为多个 Task。这些 Task 会在集群的不同节点上并行执行，最终得到每种日志级别的数量。