简述什么是HDFS，以及HDFS作用 ？
HDFS，即Hadoop Distributed File System，是Hadoop分布式文件系统。它是一个专门为了存储大量数据而设计的文件系统，能够在廉价的商用硬件上提供高吞吐量的数据访问，非常适合那些有大量数据集的应用程序。HDFS的设计目标是处理大文件，它支持的文件尺寸范围很广，可以从几百MB到几十TB。
HDFS的主要作用包括：
- 存储大规模数据：HDFS能够存储非常大的文件，适用于处理大规模数据集，比如网络日志、卫星图像数据等。
-
高容错性：HDFS通过将数据分成多个块并在多个服务器之间进行复制来提供高度的容错性。即使某些服务器或硬盘失败，数据仍然可以从其他地方恢复。
-
高吞吐量的数据访问：HDFS适用于那些需要高吞吐量数据访问的应用，例如大规模数据分析和机器学习任务。
-
适应廉价硬件：HDFS能够在普通的商用硬件上运行，不需要昂贵的、专门的存储设备。
举个例子，考虑一个互联网公司，它需要存储和处理用户生成的大量日志数据。这些数据包括用户的点击流、搜索历史和其他交互记录。使用HDFS，公司可以将这些大文件分散存储在多个廉价服务器上，确保数据即使在硬件故障时也不会丢失，并且可以快速地对这些数据进行处理和分析。