怎样优化 Ubuntu Hadoop 网络设置

Ubuntu Hadoop 网络设置优化指南

一 基础网络与主机配置

• 使用静态 IP或稳定的 DHCP 保留，避免节点重启后 IP 变化；虚拟环境优先选择桥接模式或确保网络模式一致，防止地址漂移。
• 在所有节点统一配置 /etc/hosts，以主机名进行互访，避免依赖易变的 DNS；必要时在 /etc/resolv.conf 配置可靠的 DNS 服务器。
• 配置 SSH 免密登录（生成密钥、ssh-copy-id），确保集群内节点间可无密码通信。
• 规划专用集群网络/VLAN，与业务流量隔离，降低带宽争用与时延抖动。
• 统一并校验 Hadoop 配置中的主机名与端口，例如：core-site.xml 的 fs.defaultFS、yarn-site.xml 的 yarn.resourcemanager.hostname，确保与 /etc/hosts 一致。

二 Linux 内核与系统网络参数

• 增大 TCP 缓冲区与窗口，提高大数据传输吞吐：
  • net.core.rmem_max=16777216；net.core.wmem_max=16777216
  • net.ipv4.tcp_rmem=“4096 87380 16777216”；net.ipv4.tcp_wmem=“4096 65536 16777216”
• 提升连接队列与可用端口范围，缓解高并发连接下的丢包与超时：
  • net.core.somaxconn=65535；net.ipv4.ip_local_port_range=“1024 65535”
• 提高文件描述符上限，避免“Too many open files”：
  • ulimit -n 65535（并在 /etc/security/limits.conf 持久化）
• 可选：针对 HDFS 数据盘调整预读缓冲区（readahead），顺序读场景可提升吞吐：
  • blockdev --setra 1024 /dev/sdX（按实际数据盘调整，非越大越好）

三 Hadoop 关键网络参数

• 建议将默认 fs.defaultFS 端口从 9000 升级为 8020（与主流发行版和文档保持一致）：
  • core-site.xml：fs.defaultFS=hdfs://namenode:8020
• 提升 RPC 并发与队列，减少 NameNode/DataNode 在高并发下的排队：
  • dfs.namenode.handler.count=100；dfs.datanode.handler.count=100
  • ipc.client.listen.queue.size=100；ipc.client.connect.timeout=60000
• 提升 DataNode 数据传输并发，加速块读写与复制：
  • dfs.datanode.max.transfer.threads=4096
• 副本与块大小（与网络带宽/容量权衡）：
  • dfs.replication（常用 3，带宽紧张或成本受限时可适度降低；可靠性优先保持 3）
  • dfs.blocksize（默认 128MB；大文件/高吞吐场景可上调至 256MB 或更高，减少 NameNode 元数据与寻址开销）

四 防火墙与端口放行

• 使用 UFW 或 firewalld 放行常见 Hadoop Web/服务端口（示例为 Ubuntu 常用工具 UFW）：
  • sudo ufw allow 50070/tcp（NameNode Web UI）
  • sudo ufw allow 50075/tcp（DataNode Web UI）
  • sudo ufw allow 8088/tcp（ResourceManager Web UI）
• 云环境或严格安全组策略下，需同步在安全组/ACL中放行对应端口与协议。

五 验证与持续监控

• 连通性与解析验证：
  • 节点间执行 ping 主机名 与 ssh 主机名 测试；
  • 使用 jps 检查 NameNode/DataNode/ResourceManager/NodeManager 等关键进程是否就绪。
• 吞吐与稳定性验证：
  • 使用 Teragen/Terasort 或 DistCp 做带宽与稳定性压测；
  • 观察 RPC 队列、DataNode 传输线程与 TCP 重传/丢包等指标。
• 监控与调优：
  • 部署 Prometheus + Grafana 或 Ganglia，持续跟踪网络吞吐、时延、丢包、RPC 延迟与队列；
  • 结合监控数据回看 TCP 缓冲区/连接队列/Hadoop 并发线程等参数，按业务负载迭代优化。