简述ORC、Parquet等列式存储的优点 ？
关于ORC（Optimized Row Columnar）和Parquet这两种列式存储格式的优点，我们可以从以下几个方面来看：
ORC的优点：
- 高效的压缩和编码：ORC格式支持多种压缩算法，并且它使用了一种叫做“run-length encoding”的编码方式，这种方式对于连续的重复值非常有效，可以大大减少存储空间。
- 索引优化：ORC文件包含了一些小型的索引，这些索引可以帮助Hive更快地读取需要的数据，跳过不必要的数据，从而提高查询效率。
- 谓词下推：这是一个高级特性，它允许Hive在读取数据之前就对数据进行过滤，这样只有满足条件的数据才会被读取，减少了数据的读取量。
- 分区和分桶：ORC支持数据的分区和分桶，这可以进一步提高查询性能。
应用场景：比如在一个电商网站的日志分析系统中，我们可能需要分析用户的购买行为。由于用户的购买行为会产生大量的数据，使用ORC格式存储这些数据可以有效地减少存储空间，并且提高查询效率。
Parquet的优点：
- 列式存储：Parquet是一个列式存储格式，这意味着它按列存储数据而不是按行。这种存储方式对于分析查询非常有利，因为分析查询往往只需要读取表中的几列数据。
- 压缩和编码：Parquet也支持多种压缩和编码方式，可以有效地减少存储空间。
- 嵌套数据结构：与ORC相比，Parquet更好地支持嵌套的数据结构，这对于处理复杂的数据模型非常有用。
- 跨平台支持：Parquet是一个开源项目，得到了多个大数据处理框架的支持，如Hadoop、Spark等。
应用场景：在一个金融风控系统中，我们可能需要分析客户的交易数据来评估风险。交易数据往往包含很多列，但分析时可能只需要其中的几列。使用Parquet格式存储这些数据可以提高查询效率，并且由于其跨平台支持，我们可以方便地在不同的数据处理框架中进行分析。
总的来说，ORC和Parquet都是非常优秀的列式存储格式，它们各有优势，选择哪种格式取决于具体的应用场景和需求。