简述Hive的存储引擎和计算引擎 ？
Hive是基于Hadoop的数据仓库工具，它提供了数据存储和计算的功能。在Hive中，存储引擎和计算引擎是两个核心组件。
- 存储引擎：
- Hive的存储引擎基于Hadoop的分布式文件系统（HDFS）。HDFS是一个高度容错性的系统，可以部署在廉价的硬件上，通过提供高吞吐量来访问应用程序的数据。
- Hive中的数据以文件的形式存储在HDFS中，并且按照Hive表的结构进行组织。每个Hive表对应HDFS上的一个或多个目录，表中的数据被切分成多个文件并存储在这些目录中。
- Hive支持多种文件格式，如文本文件、SequenceFile、ORC（Optimized Row Columnar）、Parquet等。这些文件格式提供了不同的压缩和编码选项，以优化存储和查询性能。
- 计算引擎：
- Hive最初使用Hadoop的MapReduce作为计算引擎。MapReduce是一种编程模型，用于大规模数据集的并行处理。它将计算任务分为Map和Reduce两个阶段，并在多个节点上并行执行这些任务。
- 后来，Hive引入了Tez作为另一种计算引擎选项。Tez是一个基于Hadoop YARN的DAG（有向无环图）计算框架，它优化了MapReduce的执行过程，提高了任务的执行效率和性能。
- 此外，Hive还支持Spark作为其计算引擎之一。Spark是一个快速、通用的大规模数据处理引擎，它采用了内存计算的方式，通过将数据存储在内存中进行处理，大大提高了计算速度。
总结来说，Hive的存储引擎基于HDFS，用于存储和管理数据；而计算引擎则可以是MapReduce、Tez或Spark，用于执行数据处理和查询任务。这些引擎的选择可以根据具体的需求和性能要求来确定。