CentOS HDFS网络配置有哪些要求

CentOS 上部署 HDFS 的网络配置要求

一 基础网络与主机解析

• 固定 IP 与网卡配置：为每个节点配置静态 IP，编辑网卡文件（如 /etc/sysconfig/network-scripts/ifcfg-ens33），设置 BOOTPROTO=static、IPADDR、NETMASK、GATEWAY、DNS1/2，并将 ONBOOT=yes；修改后执行 systemctl restart network 使配置生效。
• 主机名与解析：使用 hostnamectl set-hostname 设置唯一主机名；在 /etc/hosts 中维护所有节点的 IP-主机名 映射，保证节点间可用主机名互通；必要时在 /etc/resolv.conf 配置可用 DNS。
• 虚拟化/云环境：如使用 VMware/VirtualBox，优先选择 NAT/桥接 并确保虚拟网络 网段、网关、DHCP/静态 规划合理，避免与宿主机或其他集群冲突。

二 端口与防火墙策略

• 端口开放：确保集群节点间与客户端对 HDFS 常用端口放通，典型包括 9000（HDFS RPC/fs.defaultFS）、50070（NameNode Web UI）、50075（DataNode Web UI）、50010（DataNode 数据传输）、50020（DataNode IPC）、50090（SecondaryNameNode/HA 相关）。
• firewalld 示例：
  • 放通端口：firewall-cmd --permanent --zone=public --add-port=9000/tcp
  • 放通端口：firewall-cmd --permanent --zone=public --add-port=50010/tcp
  • 放通端口：firewall-cmd --permanent --zone=public --add-port=50020/tcp
  • 放通端口：firewall-cmd --permanent --zone=public --add-port=50070/tcp
  • 放通端口：firewall-cmd --permanent --zone=public --add-port=50075/tcp
  • 放通端口：firewall-cmd --permanent --zone=public --add-port=50090/tcp
  • 生效：firewall-cmd --reload
• 安全建议：生产环境不建议直接关闭防火墙，应按需最小化放通端口，并配合网络分区、ACL 与主机加固。

三 Hadoop 关键网络参数与地址配置

• 核心地址：在 core-site.xml 设置 fs.defaultFS=hdfs://:8020（或 9000，视版本与配置而定），确保客户端与 DataNode 能解析并连通该地址。
• 典型 HDFS 端口与参数（示例）：
  • NameNode RPC：dfs.namenode.rpc-address=namenode:8020
  • DataNode 数据传输：dfs.datanode.address=datanode:50010
  • DataNode IPC：dfs.datanode.ipc.address=datanode:50020
  • NameNode Web：dfs.namenode.http-address=namenode:50070
  • DataNode Web：dfs.datanode.http-address=datanode:50075
  • 副本数：dfs.replication=3（生产常用值）
• 主机名校验与客户端访问：
  • dfs.namenode.datanode.registration.ip-hostname-check=true（默认开启，要求注册 IP 与主机名一致）
  • dfs.client.use.datanode.hostname=true（客户端通过主机名访问 DataNode，需保证 DNS/hosts 正确）
• HA 场景（如启用）：在 hdfs-site.xml 配置 dfs.nameservices、dfs.ha.namenodes.、以及各 NameNode 的 RPC/HTTP 地址；JournalNode 常用 8485 端口（示例：qjournal://nn1:8485;nn2:8485;nn3:8485/）。

四 集群管理与稳定性要求

• SSH 免密登录：配置节点间 SSH 免密，便于集群启停、滚动升级与运维自动化。
• 时间同步：所有节点启用 NTP/chrony 保持时间一致性，避免安全令牌、审计与复制等因时间漂移异常。
• 网络连通与冗余：确保 链路冗余 与 交换机/路由器 高可用，降低单点故障对 心跳、块报告、复制 的影响。
• 接口与 DNS 正确性：核对 网卡名称（如 ens33/eth0）、IP 与掩码、默认网关 与 DNS 配置，避免因接口或解析错误导致节点无法加入集群。

五 网络性能与安全加固建议

• 内核与系统资源：
  • 提高文件描述符限制（/etc/security/limits.conf）：如 soft/hard nofile 65536；系统级 fs.file-max=131072。
  • 优化 TCP：net.ipv4.tcp_tw_reuse=1、net.ipv4.tcp_fin_timeout=30（按需评估，部分内核版本对 tw_recycle 有约束）。
• HDFS 并发与吞吐：结合业务与带宽调整 dfs.namenode.handler.count、dfs.datanode.handler.count、数据本地性等待（如 dfs.locality.wait）与客户端并发，提升网络与 RPC 处理能力。
• 监控与验证：持续监控 带宽、时延、丢包、连接数 与 HDFS 吞吐/复制延迟；变更前在测试环境验证，变更后回归关键业务。
• 安全基线：仅开放必要端口，启用 防火墙/安全组、主机加固、最小权限 与 加密传输（如启用 SASL/SSL 的集群），并定期审计。