简述Spark的运行流程 ？
Spark 的运行流程大致可以分为以下几个步骤：
- 初始化：Spark 应用的运行始于初始化一个 SparkContext 对象。这个对象负责与 Spark 集群进行通信，同时也是用户和 Spark 功能之间的主要接口。
-
读取数据：Spark 通过 SparkContext 读取数据源（比如 HDFS、本地文件系统等）中的数据，并将其转换为 RDD（弹性分布式数据集）或 DataFrame（用于结构化数据处理的抽象模型）。这是数据处理的起点。
-
转换操作：在数据加载到 Spark 之后，可以对其执行各种转换操作（如 map、filter、join 等）。这些操作不会立即执行，而是构建了一个转换操作的链。
-
行动操作：当应用执行一个行动操作（如 count、collect、save 等）时，Spark 会触发实际的数据处理。行动操作是转换操作链的终点，它们会导致数据被真正处理。
-
任务调度：执行行动操作时，SparkContext 会向集群管理器（如 YARN、Mesos 或 Spark 自身的 Standalone 模式）提交任务。集群管理器负责在集群中分配资源。
-
DAG 计划和任务执行：Spark 内部的 DAG 调度器会将作业分解成多个阶段，每个阶段包含多个任务。这些任务被分配到集群的不同节点上执行。
-
结果处理：作业完成后，结果会返回到 Spark 应用。如果是行动操作（如 collect），结果会返回到驱动程序；如果是保存操作（如 saveAsTextFile），结果会被写入到指定的存储系统。
-
资源释放：任务完成后，SparkContext 会关闭，释放其占用的资源。
例如，一个数据分析任务可能需要从 HDFS 加载数据，对数据进行过滤和聚合操作，然后计算结果并保存回 HDFS。在这个过程中，Spark 负责数据的读取、转换操作的定义、计算任务的分发和执行，以及最终结果的保存。