HDFS在CentOS上的网络配置要求是什么

HDFS在CentOS上的网络配置要求

一、基础网络与主机解析

• 为所有节点配置静态IP，编辑网卡配置文件（如：/etc/sysconfig/network-scripts/ifcfg-ens33），将BOOTPROTO=static，并设置IPADDR、NETMASK、GATEWAY、DNS1/2、ONBOOT=yes；保存后执行systemctl restart network使配置生效。生产环境不建议使用DHCP，以免节点IP漂移导致服务异常。
• 设置唯一主机名并统一解析：使用hostnamectl set-hostname <主机名>；在**/etc/hosts中写入所有节点的“IP 主机名”映射，确保节点间可用主机名互通；必要时在/etc/resolv.conf配置可用DNS**服务器。
• 建议开启SSH免密登录（至少NameNode到各DataNode的免密），以便集群启停与运维脚本执行。

二、端口与防火墙策略

• 放通HDFS常用端口（示例为默认端口，若自定义需同步调整）：
  • 9000/tcp（HDFS RPC，常见于fs.defaultFS或早期版本）
  • 8020/tcp（HDFS RPC，常见于HA/新版本）
  • 50070/tcp（NameNode HTTP UI）
  • 50075/tcp（DataNode HTTP UI）
  • 50010/tcp（DataNode数据传输）
  • 50020/tcp（DataNode IPC）
  • 50090/tcp（SecondaryNameNode HTTP）
  • 8485/tcp（JournalNode RPC，HA使用）
  • 如使用ZooKeeper，还需放通2181/tcp
• 使用firewalld放通示例：
  • 单条放通：firewall-cmd --permanent --zone=public --add-port=<端口>/tcp
  • 批量放通后重载：firewall-cmd --reload
• 生产环境不建议直接关闭防火墙与SELinux，应按需最小化放通相关端口与协议。

三、时间同步与主机互通

• 启用NTP或chrony进行时间同步，保证集群各节点时钟一致，避免HDFS元数据与数据一致性异常。
• 验证节点间互通性：使用**ping <主机名/IP>与telnet <主机名/IP> <端口>**测试关键端口连通性，确保NameNode、DataNode、JournalNode、ZooKeeper（如使用）之间网络可达。

四、Hadoop关键网络参数配置

• core-site.xml：设置fs.defaultFS。非HA常用hdfs://namenode:9000；HA使用hdfs://（如：hdfs://mycluster），端口以RPC端口为准（常见为8020）。
• hdfs-site.xml（非HA）：可显式设置dfs.namenode.rpc-address与dfs.namenode.http-address（如：8020与50070）。
• hdfs-site.xml（HA）：配置dfs.nameservices、dfs.ha.namenodes.、每个NameNode的dfs.namenode.rpc-address..与dfs.namenode.http-address..，以及dfs.client.failover.proxy.provider.；JournalNode使用dfs.namenode.shared.edits.dir=qjournal://:<8485>;:<8485>;:<8485>/。

五、高可用与验证要点

• HA部署要点：至少部署2个NameNode（Active/Standby）、3个JournalNode（QJM）、3个ZooKeeper（ZKFC用于故障转移）；确认ZooKeeper Quorum地址（如：server1:2181,server2:2181,server3:2181），并在core-site.xml设置ha.zookeeper.quorum。
• 客户端连接串：HA环境使用nameservice地址（如：hdfs://mycluster）；非HA可直接使用IP:8020或主机名:8020。
• 常用验证：
  • 查看集群状态：hdfs dfsadmin -report
  • 访问NameNode Web UI：http://:50070
  • 启动/停止：start-dfs.sh / stop-dfs.sh