简述Spark on Standalone运行过程 ？
在 Spark Standalone 模式下的运行过程涉及以下几个关键步骤：
- 启动集群：首先，需要启动 Spark 集群。这包括启动一个 Master 节点和多个 Worker 节点。Master 节点负责整个集群的资源管理和调度，而 Worker 节点提供资源来执行应用程序。
-
提交应用程序：用户通过 Spark 提交命令（如
spark-submit）来提交应用程序。在这个过程中，可以指定应用程序的资源需求（如内存和核心数）和其他配置。 -
资源分配：Master 节点接收到应用程序后，根据其资源需求和集群的当前资源状况分配资源。资源分配后，Master 会为应用程序启动一个或多个 Executor。
-
Executor 启动：在 Worker 节点上，根据 Master 的指示，启动 Executor 进程。每个 Executor 会被分配一定数量的核心和内存资源。
-
任务执行：应用程序的代码开始在 Executor 上执行。这通常涉及到读取数据、处理数据和写入结果。Executor 之间可能需要通过网络进行数据传输，尤其是在执行 Shuffle 操作时。
-
资源使用和调整：在应用程序运行期间，Master 节点会持续监控资源使用情况，并根据需要进行调整，以确保资源的有效利用。
-
作业完成：应用程序完成后，Executor 会将结果返回给用户程序，并释放占用的资源。Master 节点会更新资源状态，准备接受新的应用程序提交。
在 Spark Standalone 模式下，所有资源调度和管理都是由 Spark 自身完成的，不依赖于外部的资源管理系统。这种模式适合于专门为 Spark 配置的集群，特别是在不需要与其他类型的大数据应用共享资源时。例如，一个数据分析团队可能会使用 Spark Standalone 模式来运行数据处理和分析作业，因为这种模式可以简化配置和管理，使团队能够更专注于数据处理逻辑本身。