简述Hive中MR(map reduce)、Tez和Spark执行引擎对比 ？
Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。在Hive中，MR（MapReduce）、Tez和Spark是三种常用的执行引擎，它们在数据处理和执行模型上有一些差异。
- MapReduce（MR）：
- 特点：MapReduce是Hive最早使用的执行引擎，它将Hive查询转换为一系列的MapReduce任务进行并行执行。MapReduce模型将数据处理分为Map和Reduce两个阶段，具有良好的容错性和扩展性。
- 适用场景：适用于处理大规模数据集，但由于其基于磁盘的读写和中间结果的持久化，可能在性能和响应时间方面受到影响。因此，它更适合处理一些相对较慢的任务，如周、月、年指标的计算。
- Tez：
- 特点：Tez是基于Hadoop YARN的DAG（有向无环图）计算框架，它优化了MapReduce的执行过程，允许任务之间的动态调度和并行执行。Tez通过将多个Map和Reduce操作组合成一个DAG来减少不必要的磁盘IO和中间结果的持久化，从而提高了计算性能。
- 适用场景：Tez引擎具有更低的延迟和更高的吞吐量，适用于需要更快速、高效的数据处理任务。它可以优化任务执行的顺序和并行度，提高了任务的执行效率。
- Spark：
- 特点：Spark是一个快速、通用的大规模数据处理引擎，它采用了内存计算的方式，通过将数据存储在内存中进行处理，大大提高了计算速度。Spark还提供了丰富的API和高级功能，如DataFrame、SQL查询、流处理和机器学习等。
- 适用场景：Spark引擎在处理需要快速响应的任务时，如天指标计算，具有更高的效率和可靠性。它适用于迭代计算、实时流处理和机器学习等场景，能够满足对快速数据处理的需求。
总结来说，MapReduce适用于处理大规模数据集和相对较慢的任务，Tez适用于需要更快速、高效的数据处理任务，而Spark则适用于需要快速响应和高级功能的场景。在选择执行引擎时，需要根据具体的数据规模、业务需求和处理性能来进行评估和选择。