本文目录导读：
《深入探究HDFS存储原理：数据存储策略及其背后的逻辑》
HDFS简介
Hadoop Distributed File System（HDFS）是一个分布式文件系统，旨在在廉价的硬件上可靠地存储海量数据，它具有高容错性、可扩展性等优点，被广泛应用于大数据领域。
HDFS数据存储策略
（一）数据分块存储
图片来源于网络，如有侵权联系删除
1、原理
- HDFS将文件分割成固定大小的数据块（通常为128MB，可配置），这样做的好处是便于在分布式环境中进行存储和处理，当一个文件被上传到HDFS时，它会被按照设定的数据块大小进行切分，一个1GB的文件会被分割成8个128MB的数据块（忽略最后一块可能不足128MB的情况）。
- 这些数据块会被存储在不同的DataNode上，这种分散存储的方式增加了数据的可靠性，因为即使某个DataNode出现故障，也不会导致整个文件不可用。
2、原因
- 从存储管理角度看，分块存储使得HDFS可以更灵活地利用集群中的存储资源，不同的数据块可以根据集群的存储状况分布在不同的节点上，避免了单个大文件可能面临的存储瓶颈问题，如果有一个超大文件直接存储在一个节点上，可能会耗尽该节点的存储空间，而分块存储可以将其分散到多个节点。
- 在数据处理方面，分块存储便于并行处理，像MapReduce这样的计算框架可以针对每个数据块进行独立的计算操作，提高了数据处理的效率。
（二）数据副本存储
图片来源于网络，如有侵权联系删除
1、原理
- HDFS默认会为每个数据块创建多个副本（通常为3个，可配置），这些副本会被存储在不同的DataNode上，当一个数据块被写入到一个DataNode时，它的副本会被发送到其他的DataNode，这些DataNode的选择是基于一定的策略，如机架感知策略。
- 机架感知策略会尽量将副本分布在不同的机架上，如果集群中有多个机架，第一个副本会被放置在本地机架（写入数据的DataNode所在的机架）的一个节点上，第二个副本会被放置在本地机架的另一个节点上，第三个副本会被放置在不同机架的一个节点上。
2、原因
- 可靠性是副本存储的主要目的，在大规模的集群环境中，硬件故障是常见的，通过存储多个副本，即使某个DataNode或者整个机架出现故障，数据仍然可以从其他副本中获取，当一个机架的电源出现故障，存储在该机架上的数据副本虽然不可用，但其他机架上的副本可以保证数据的完整性和可用性。
- 提高数据的本地性也是一个重要因素，在进行数据处理时，如果计算任务所在的节点能够在本地（同一机架内）获取到数据副本，就可以减少网络传输开销，提高计算效率。
（三）数据存储的层次结构
图片来源于网络，如有侵权联系删除
1、原理
- HDFS采用了一种层次结构来管理数据存储，在最顶层是NameNode，它负责管理文件系统的命名空间，记录文件到数据块的映射关系，以及数据块到DataNode的映射关系，NameNode维护着一个文件系统的元数据，包括文件的权限、所有者、大小等信息。
- 而DataNode则负责实际的数据块存储，DataNode会定期向NameNode发送心跳信息和数据块报告，告知NameNode自己的状态以及所存储的数据块情况。
2、原因
- 这种层次结构将元数据管理和数据存储分离，NameNode作为元数据的管理者，可以高效地处理文件系统的命名空间操作，如文件的创建、删除、重命名等，由于元数据相对较小（相比于实际的数据量），NameNode可以将其全部加载到内存中，从而实现快速的元数据查询操作。
- DataNode专注于数据块的存储和读写操作，这种分工使得整个HDFS系统在存储海量数据时能够高效运行，通过心跳机制和数据块报告机制，NameNode可以及时了解DataNode的状态，从而对数据的存储和可用性进行有效的管理，如果某个DataNode长时间没有发送心跳信息，NameNode可以判断该DataNode出现故障，并采取相应的措施，如重新复制故障DataNode上存储的数据块副本。
评论列表