在Hadoop分布式文件系统（HDFS）中，数据块（block）是数据存储和读取的基本单位。合理设置block大小对于优化HDFS的性能和效率至关重要。以下是关于HDFS中block大小设置的详细解答：
HDFS中block大小的默认值
- 从Hadoop 2.7.3版本开始，block的默认大小设置为128MB。在之前的版本中，默认值是64MB。
为什么HDFS中block大小不能设置过大或过小
-
设置过大的问题：
- 磁盘传输数据的时间会明显大于寻址时间，导致程序处理数据变慢。
- MapReduce中的map任务通常一次只处理一个块中的数据，块过大运行速度也会很慢。
- 可能会导致NameNode监管判断数据节点死亡不准确，增加CPU、网络、内存资源的占用。
-
设置过小的问题：
- 存放大量小文件会占用NameNode中大量内存来存储元数据。
- 文件块过小，寻址时间增大，导致程序一直在找block的开始位置。
HDFS中block大小设置为128MB的原因
- HDFS中平均寻址时间大约为10ms。
- 经过测试发现，寻址时间为传输时间的1%时，为最佳状态，所以最佳传输时间为10ms/0.01=1000ms=1s。
- 目前磁盘的传输速率普遍为100MB/s，计算出最佳block大小为100MB/s x 1s = 100MB，所以设定block大小为128MB。
实际应用中如何根据磁盘传输速率设置block大小
- 磁盘传输速率为200MB/s时，一般设定block大小为256MB。
- 磁盘传输速率为400MB/s时，一般设定block大小为512MB。
修改HDFS block大小的步骤
- 修改
hdfs-site.xml文件中的dfs.blocksize对应的值。
- 修改完成后，需要过期重启或滚动重启后，新的block大小才会生效。
通过以上步骤和考虑因素，可以根据具体的应用场景和硬件环境，合理设置HDFS中的block大小，以优化系统性能。
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>