Debian环境下HDFS配置的最佳实践
sysctl.conf设置vm.swappiness=0，禁用Swap分区，防止操作系统因内存不足将数据换出到磁盘，导致HDFS性能急剧下降。/etc/security/limits.conf，增加nofile（最大打开文件数，如* soft nofile 65536、* hard nofile 65536）和nproc（最大进程数）的值，避免HDFS因资源限制无法正常运行；调整/etc/sysctl.conf中的net.core.somaxconn（监听队列长度，如net.core.somaxconn=65536）、fs.file-max（系统最大文件描述符数，如fs.file-max=2097152），优化网络连接处理能力。swapoff -a永久禁用Swap，并更新/etc/fstab文件，删除Swap相关条目。dfs.block.size（默认128MB）。大文件场景（如日志、视频）可增大至256MB或512MB（减少元数据开销），小文件场景（如小批量数据）保持128MB或减小至64MB（避免过多小块导致NameNode压力）。dfs.replication调整副本数。热数据（频繁访问）设置为3（默认，保证高可用），冷数据（很少访问）设置为2（节省存储成本），测试环境可设置为1（快速验证）。dfs.datanode.data.dir（DataNode数据存储路径）和dfs.namenode.name.dir（NameNode元数据存储路径）中配置多个磁盘路径（如/data1/hdfs,/data2/hdfs），提升I/O并行能力，避免单盘瓶颈。dfs.namenode.handler.count（NameNode处理并发请求的线程数，默认10，建议调整为32~64）、dfs.datanode.handler.count（DataNode处理数据传输的线程数，默认10，建议调整为16~32）、dfs.datanode.max.transfer.threads（DataNode最大数据传输线程数，默认4096，根据节点内存调整）。ha.zookeeper.quorum（ZooKeeper集群地址，如zoo1:2181,zoo2:2181,zoo3:2181），用于监控NameNode状态和协调故障转移。dfs.namenode.shared.edits.dir（如qjournal://journal1:8485;journal2:8485;journal3:8485/mycluster），确保两个NameNode的元数据同步。core-site.xml中设置dfs.ha.automatic-failover.enabled=true（启用自动故障转移），dfs.client.failover.proxy.provider.mycluster（指定故障转移代理类，如org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider）；在hdfs-site.xml中配置dfs.ha.fencing.methods（隔离方法，如sshfence，通过SSH杀死故障节点的NameNode进程）和dfs.ha.fencing.ssh.private-key-files（SSH私钥路径，如/root/.ssh/id_rsa），避免脑裂问题。hdfs-site.xml中设置dfs.client.read.shortcircuit=true，允许客户端直接从DataNode读取数据（绕过NameNode），减少网络传输延迟，适用于高频访问的小文件。mapreduce.job.locality.wait（等待数据本地化的时间，默认3秒）调整，尽量将计算任务调度到数据所在的节点，减少跨节点数据传输，提升处理效率。mapreduce.map.output.compress=true（Map输出压缩）、mapreduce.output.fileoutputformat.compress=true（最终输出压缩），减少存储空间占用和网络传输带宽。Hadoop Archive工具），或设置dfs.namenode.fs-limits.max-files-per-dir（每个目录最大文件数，如100万），减少NameNode的元数据压力。hdfs dfsadmin -report（查看集群状态）、hdfs balancer（平衡DataNode数据分布）、hdfs fsck（检查数据块完整性）等命令，确保集群健康。core-site.xml中设置fs.trash.interval（回收站保留时间，默认0，建议设置为1440分钟，即1天），避免误删文件。