简述Spark on YARN运行过程 ？

在 Spark on YARN（Yet Another Resource Negotiator）模式下的运行过程涉及 Spark 应用和 YARN 集群的协作。具体过程如下：

1. 初始化 Spark 应用：
   • 首先，开发者编写的 Spark 应用程序通过初始化 SparkContext 来启动。
   • SparkContext 在与 YARN 交互时，会向 YARN 提出资源请求，用于运行应用。
2. 应用提交：
   • 开发者将 Spark 应用程序提交到 YARN 集群。这通常通过命令行工具完成，例如使用 spark-submit 命令。
   • 提交应用时，需要指定运行模式为 YARN。
3. 资源请求和分配：
   • YARN 的 ResourceManager 接收到应用提交请求后，开始为应用分配所需资源。
   • 这包括启动 ApplicationMaster（Spark 应用的主控进程）和分配执行任务的 NodeManager（节点管理器）。
4. 启动 ApplicationMaster：
   • ApplicationMaster 是运行在 YARN 集群中的一个容器，负责管理 Spark 作业的执行和资源协调。
   • 它向 ResourceManager 请求运行任务所需的资源（比如 CPU、内存）。
5. 任务调度和执行：
   • ApplicationMaster 根据作业的需求，向 ResourceManager 请求更多的资源来启动 Executor。
   • Executor 是运行在 YARN 的 NodeManager 上的进程，负责执行 Spark 作业中的任务。
   • Spark 作业被分解成多个任务，这些任务由 Executor 执行。
6. 数据处理：
   • Executor 开始执行任务，处理数据。这可能涉及从 HDFS 或其他存储系统读取数据，执行转换和行动操作。
   • 在处理过程中，ApplicationMaster 监控任务执行情况，并与 ResourceManager 交互以调整资源分配。
7. 作业完成和资源释放：
   • 一旦 Spark 作业完成，Executor 将结果返回给 ApplicationMaster。
   • ApplicationMaster 将最终结果返回给客户端（驱动程序），并向 ResourceManager 通知作业完成。
   • 随后，ApplicationMaster 和 Executor 释放它们所占用的资源，YARN 会回收这些资源。

例如，在一个数据分析项目中，你可能需要使用 Spark on YARN 来处理大量存储在 HDFS 中的数据。在这种场景下，YARN 负责在集群中有效地分配和管理资源，而 Spark 负责执行复杂的数据处理任务。通过这种合作，Spark on YARN 能够高效地进行大规模数据处理。

帅地永久会员

收藏 海报 分享链接