简述DAG为什么适合Spark ？
在Apache Spark中，DAG（有向无环图）是核心的计算模型，它非常适合Spark的数据处理和计算需求，原因如下：
- 表现复杂的计算逻辑：
- DAG允许Spark以图形的形式表现出复杂的计算逻辑。每个节点代表一个数据处理操作，如map、filter或join，而边则表示数据从一个操作流向另一个操作。
- 这种图形化的表示方法非常适合展示和管理数据处理的多个步骤，尤其是在处理大规模和复杂的数据集时。
- 优化计算过程：
- Spark通过DAG的结构，能够对整个数据处理流程进行全局的优化。比如，它可以重组操作顺序，合并某些操作，从而减少数据的读写次数和移动。
- DAG结构还使得Spark可以延迟执行（Lazy Execution），即直到最终的结果需要被计算时，才开始执行操作。这种延迟执行策略使得Spark能够更有效地优化整个计算过程。
- 容错和恢复机制：
- DAG为Spark提供了强大的容错机制。如果在计算过程中某个节点（即某个数据处理步骤）失败，Spark可以仅重新计算那部分受影响的DAG路径，而不是重新开始整个计算过程。
- 由于DAG的每个节点都是独立的，这种局部化的错误恢复机制大大提高了Spark在处理大数据时的稳定性和效率。
- 并行和分布式处理：
- DAG结构天然适合并行处理。Spark可以将DAG分解成多个阶段（Stage），每个阶段可以进一步分解为多个任务，这些任务可以在集群的不同节点上并行执行。
- 这种并行处理机制使得Spark可以高效地处理大规模数据集，尤其是在分布式环境中。
总结来说，DAG模型与Spark的设计理念完美契合，它不仅能够表示复杂的数据处理流程，还能优化计算过程，提供强大的容错机制，并支持高效的并行和分布式处理。这些特性使得DAG成为Spark处理大规模数据集的理想计算模型。