Linux环境下Hadoop网络配置优化策略
/etc/sysconfig/network-scripts/ifcfg-ethX，设置BOOTPROTO=static），并通过/etc/hosts文件建立IP与主机名（如hadoop-master、hadoop-node1）的映射，避免动态IP变动导致的网络连接中断，确保节点间可通过主机名直接通信。topology.script.file.name参数（如hadoop-site.xml中设置）定义机架感知脚本，将同一机架的节点划分到同一逻辑单元，优化数据传输路径，减少跨机架的网络流量。/etc/sysctl.conf文件，添加：net.core.rmem_max=16777216（接收缓冲区最大值）、net.core.wmem_max=16777216（发送缓冲区最大值）、net.ipv4.tcp_rmem="4096 87380 16777216"（TCP接收缓冲区分段）、net.ipv4.tcp_wmem="4096 65536 16777216"（TCP发送缓冲区分段）；net.ipv4.ip_local_port_range="1024 65535"、net.core.somaxconn=65535，避免大量并发连接导致的队列溢出。/etc/security/limits.conf，添加* soft nofile 65535、* hard nofile 65535（用户最大打开文件数）、* soft nproc 65535、* hard nproc 65535（用户最大进程数）；对于RHEL6等系统，还需修改/etc/security/limits.d/90-nproc.conf，确保Hadoop进程能处理大量并发连接。vm.swappiness=0，写入/etc/sysctl.conf），避免磁盘IO拖慢网络传输；关闭SELinux（SELINUX=disabled，修改/etc/selinux/config并执行setenforce 0），减少安全机制对网络通信的影响。dfs.replication（生产环境建议3，测试环境可设1），减少不必要的副本传输；dfs.namenode.handler.count（默认10，集群规模大时可调至100+），提升NameNode处理客户端请求的并发能力；dfs.datanode.max.transfer.threads（默认4096，可根据带宽调整至8192或更高），提高DataNode的数据传输效率。yarn.nodemanager.resource.memory-mb（每个NodeManager可用内存，如8192MB）、yarn.nodemanager.resource.cpu-vcores（每个NodeManager可用CPU核心数，如4），确保资源充足；CapacityScheduler或FairScheduler（修改yarn-site.xml中的yarn.resourcemanager.scheduler.class），实现资源的公平分配，避免节点过载。mapreduce.job.locality.wait=300000，单位毫秒），让任务优先在数据所在节点执行，减少跨节点数据传输；调整mapreduce.map.memory.mb（Map任务内存，如4096MB）、mapreduce.reduce.memory.mb（Reduce任务内存，如8192MB），适配网络传输需求。mapreduce.output.fileoutputformat.compress=true，修改mapred-site.xml），选择高效的压缩算法（如Snappy，mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec），减少网络传输的数据量（Snappy压缩比约2-3倍，延迟低）。hadoop job -counter命令查看数据本地化比例，目标>90%）。iftop（实时查看网络带宽占用）、nethogs（按进程查看网络流量）、iperf（测试节点间网络带宽）等工具，监控网络性能，及时发现瓶颈（如某节点带宽占用过高）。iperf进行集群内节点间的带宽测试（如iperf -c <目标节点IP> -t 60），对比优化前后的网络性能，评估优化效果；结合Hadoop的NameNode和DataNode日志，分析网络延迟、数据传输量等指标，针对性调整配置。