HDFS性能调优最佳实践
硬件是HDFS性能的基础，需根据集群规模和负载需求选择合适的配置：
dfs.namenode.java.opts设置为-Xmx8g -XX:+UseG1GC）；DataNode内存用于数据缓存和网络传输（如dfs.datanode.max.locked.memory设置为4g用于短路读缓存）。通过调整HDFS配置文件（hdfs-site.xml、core-site.xml）的关键参数，优化集群性能：
dfs.blocksize）：根据工作负载调整，大文件（如视频）建议256MB，日志分析建议128MB，实时查询（如Hive）建议64MB（配合SSD）。较大的块可减少NameNode元数据压力和客户端与NameNode的通信次数，但会增加数据本地化难度。dfs.replication）：默认3副本，关键数据可适当增加（如5副本）以提高可靠性；读取密集型应用可在保证可靠性的前提下减少副本（如2副本），节省存储空间。dfs.namenode.handler.count）：增加该值（如设置为64）以提高并发处理能力，应对大量客户端请求。dfs.datanode.handler.count）：增加该值（如设置为128）以提高数据传输的并发能力，加快读写速度。io.file.buffer.size）：设置为128KB（131072字节），提高磁盘IO效率，减少IO操作次数。数据本地化是减少网络传输的关键，需确保计算任务在数据所在节点执行：
net.topology.script.file.name），通过自定义脚本识别节点机架，确保副本至少跨两个机架放置，兼顾数据可靠性和读取性能（如机架内优先读取，机架间备份）。小文件（通常小于128MB）会增加NameNode的元数据负载，需通过以下方式减少：
HarTool）将小文件合并为大文件，降低NameNode的元数据压力。压缩可减少存储空间和网络传输时间，但需权衡CPU开销：
mapreduce.map.output.compress（设置为true）、mapreduce.map.output.compress.codec（设置为org.apache.hadoop.io.compress.SnappyCodec）等参数启用压缩，针对不同场景选择合适算法。负载均衡可避免节点过载，提高集群整体性能：
Balancer工具（hdfs balancer -threshold 10，阈值为10%表示节点磁盘使用率差异超过10%时触发均衡），定期运行以均衡数据分布。dfs.datanode.balance.bandwidthPerSec参数调整均衡带宽（如设置为100MB/s），控制均衡速度，避免影响正常业务。合理利用缓存可提高读取性能：
dfs.datanode.max.locked.memory参数设置短路读缓存（如4g），将热点数据缓存在内存中，加速读取。持续监控集群状态，及时发现并解决性能瓶颈：
NameNode.log、DataNode.log），查找慢操作、错误或异常，针对性优化。