HDFS在CentOS上的网络配置怎么弄

CentOS 上 HDFS 网络配置实操指南

一 基础网络与主机解析

• 配置静态 IP（以网卡 ens33 为例）：编辑 /etc/sysconfig/network-scripts/ifcfg-ens33，将 BOOTPROTO=static，并设置 IPADDR、NETMASK、GATEWAY、DNS1、ONBOOT=yes；保存后执行 systemctl restart network 使配置生效。示例：
  • DEVICE=ens33、BOOTPROTO=static、ONBOOT=yes
  • IPADDR=192.168.1.100、NETMASK=255.255.255.0、GATEWAY=192.168.1.1
  • DNS1=8.8.8.8、DNS2=114.114.114.114
• 设置主机名与解析：使用 hostnamectl set-hostname <主机名> 设置每个节点的主机名；在 /etc/hosts 中添加所有节点的 IP 主机名 映射，确保集群内可互相解析。示例：
  • 192.168.1.100 hadoop-master
  • 192.168.1.101 hadoop-node1
  • 192.168.1.102 hadoop-node2
• 打通 SSH 免密：在 NameNode 生成密钥 ssh-keygen -t rsa，将公钥分发到各节点（含本机）以便脚本启动与运维。示例：ssh-copy-id hadoop@hadoop-node1。

二 防火墙与端口放行

• 使用 firewalld 放行 HDFS 常用端口（示例以 8020/50070 为主，若使用 9000 也一并放行）：
  • 放行 RPC 与 HTTP：firewall-cmd --permanent --zone=public --add-port=8020/tcp
  • 放行 NameNode Web：firewall-cmd --permanent --zone=public --add-port=50070/tcp
  • 如使用 9000 端口：firewall-cmd --permanent --zone=public --add-port=9000/tcp
  • 使规则生效：firewall-cmd --reload
• 说明：端口选择应与 Hadoop 配置保持一致（见下一节）；若启用 DataNode 数据传输端口（如 50010 等），也需按需放行。

三 Hadoop 网络关键配置

• 环境变量（建议写入 /etc/profile.d/hadoop.sh）：
  • export HADOOP_HOME=/opt/hadoop
  • export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 使生效：source /etc/profile.d/hadoop.sh
• core-site.xml（设置默认文件系统与 RPC 地址，二者保持主机名一致）：
  • fs.defaultFShdfs://namenode:8020
  • dfs.namenode.rpc-addressnamenode:8020
• hdfs-site.xml（按集群规模与目录规划调整）：
  • dfs.replication3
  • dfs.namenode.name.dir/data/hdfs/namenode
  • dfs.datanode.data.dir/data/hdfs/datanode
  • dfs.namenode.http-addressnamenode:50070
• 节点清单：在 $HADOOP_HOME/etc/hadoop/workers（旧版为 slaves）中列出所有 DataNode 主机名，每行一个。

四 启动与验证

• 首次启动前格式化 NameNode：hdfs namenode -format
• 启动 HDFS：在 NameNode 执行 start-dfs.sh（或 $HADOOP_HOME/sbin/start-dfs.sh）
• 验证与排查：
  • 进程检查：jps（应看到 NameNode/DataNode 等）
  • 集群报告：hdfs dfsadmin -report
  • Web 界面：浏览器访问 http://namenode:50070（查看节点与容量）
  • 连通性：在各节点间 ping <主机名> 与 telnet namenode 8020 验证解析与端口可达。

五 常见场景与优化

• 端口与版本差异：
  • Hadoop 2.x 常用 fs.defaultFS=hdfs://namenode:9000，HTTP 为 50070
  • Hadoop 3.x 推荐 fs.defaultFS=hdfs://namenode:8020，HTTP 仍为 50070
  • 若使用 9000，需同步放行 9000/tcp 并保持一致配置
• 双网卡与链路冗余：
  • 可使用 bond0 做主备或负载均衡（如 mode=1 miimon=100），提升可靠性；配置 ifcfg-bond0、ifcfg-eth0、ifcfg-eth1 并加载 bonding 模块后重启网络服务
• 性能与安全：
  • 内核与系统限制：在 /etc/security/limits.conf 提升 nofile（如 65536），在 /etc/sysctl.conf 调整 fs.file-max、net.ipv4.tcp_tw_reuse、net.ipv4.tcp_fin_timeout 等，变更后执行 sysctl -p
  • 网络带宽与防火墙：确保集群带宽充足，仅开放必要端口，避免成为瓶颈。