HDFS的常见数据格式，列式存储格式和行存储格式异同点，列式存储优点有哪些 ？
关于HDFS的常见数据格式，以及列式存储和行式存储的异同点，我来详细解释一下。
常见数据格式
在HDFS上，常见的数据格式包括：
- 文本格式（Text）：这是最简单的格式，数据以文本形式存储，通常每行一条记录。
-
序列化格式（SequenceFile）：这是一种二进制存储格式，可以将键值对序列化存储，适合大批量数据的存取。
-
列式存储格式（如Parquet, ORC）：这种格式将数据按列而不是按行存储，适用于对特定列的大规模查询。
-
行式存储格式（如CSV）：这是传统的数据库存储格式，将数据按行存储，每行代表一条记录。
列式存储与行式存储的异同点
相同点
- 目标：两者都旨在高效存储和查询大数据集。
- 兼容性：都可以在HDFS上使用，与大数据生态系统的其他组件兼容。
不同点
- 存储方式：
- 列式存储：按列存储数据，每一列的数据紧密排列在一起。
- 行式存储：按行存储数据，每一行的所有列数据一起存储。
- 读写性能：
- 列式存储：优化了读操作，特别是对某几列的查询。
- 行式存储：通常优化了写操作，适用于频繁更新的场景。
- 空间效率：
- 列式存储：由于同一列的数据类型相同，易于压缩，节省存储空间。
- 行式存储：相对较难压缩，占用更多存储空间。
- 使用场景：
- 列式存储：适用于分析和报表，如大数据分析、数据仓库。
- 行式存储：适用于事务处理，如传统数据库应用。
列式存储的优点
-
高效的查询性能：特别是对于只需要访问少数几列的查询，不必加载整行数据。
-
更好的压缩率：由于列中数据类型的一致性，可以应用更高效的压缩算法。
-
优化的数据存储结构：列式存储结构适合进行数据的分区、索引和向量化查询，从而提高查询效率。