Linux下Hadoop如何进行网络设置

Linux下Hadoop网络设置实操指南

一 基础网络与主机准备

• 设置主机名与 hosts 解析：为每台机器设置唯一主机名（如 master、slave1），并在所有节点的 /etc/hosts 中写入 IP 与主机名映射，确保节点间可用主机名互通。示例：
  • 192.168.1.100 master
  • 192.168.1.101 slave1
  • 192.168.1.102 slave2
• 静态 IP 与 DNS（可选，生产推荐）：编辑网卡配置（如 /etc/sysconfig/network-scripts/ifcfg-eth0 或 netplan 配置），设置 IPADDR、NETMASK、GATEWAY、DNS1/2，并重启网络服务；或在 /etc/resolv.conf 中配置 DNS（如 8.8.8.8、8.8.4.4）。
• SSH 免密登录：在 master 生成密钥对并分发公钥到所有节点，便于集群启停与脚本分发。
  • ssh-keygen -t rsa
  • ssh-copy-id user@slave1
  • 权限建议：chmod 700 ~/.ssh；chmod 600 ~/.ssh/authorized_keys
• 防火墙放行或临时关闭（按安全策略选择）：常见需放行端口包括 HDFS RPC 8020、YARN ResourceManager 8032 等；测试环境可直接关闭防火墙与 SELinux 简化排障。

二 Hadoop关键网络参数配置

• 建议统一使用主机名（而非易变的 IP）进行配置，并在集群内保持 /etc/hosts 一致。
• 核心配置示例（按实际主机名与目录调整）：

core-site.xml

• - fs.defaultFShdfs://master:8020 - hadoop.tmp.dir/opt/hadoop/tmp

hdfs-site.xml

• - dfs.replication3 - dfs.namenode.name.dir/opt/hadoop/dfs/name - dfs.datanode.data.dir/opt/hadoop/dfs/data - dfs.namenode.rpc-addressmaster:8020 - dfs.datanode.address0.0.0.0:50010 - dfs.namenode.secondary.http-addressmaster:50090

yarn-site.xml

• - yarn.resourcemanager.hostnamemaster - yarn.nodemanager.aux-servicesmapreduce_shuffle - yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler

mapred-site.xml

• - mapreduce.framework.nameyarn

slaves（或 workers）

• master
• slave1
• slave2

三 系统网络参数与防火墙优化

• TCP 缓冲区与拥塞控制（提升大数据传输稳定性，/etc/sysctl.conf）：
  • net.core.rmem_max = 16777216
  • net.core.wmem_max = 16777216
  • net.ipv4.tcp_rmem = 4096 87380 16777216
  • net.ipv4.tcp_wmem = 4096 65536 16777216
  • net.ipv4.tcp_congestion_control = cubic
  • 应用：sysctl -p
• 防火墙放行示例（firewalld）：
  • firewall-cmd --permanent --zone=public --add-port=8020/tcp
  • firewall-cmd --permanent --zone=public --add-port=8032/tcp
  • firewall-cmd --reload
• SELinux（测试环境可临时关闭以简化排障）：setenforce 0。

四 启动与验证

• 环境变量（/etc/profile 或 ~/.bashrc）：
  • export JAVA_HOME=/usr/java/latest
  • export HADOOP_HOME=/opt/hadoop
  • export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 使生效：source /etc/profile 或 source ~/.bashrc
• 初始化与启动：
  • 首次部署需格式化 NameNode：hdfs namenode -format
  • 启动集群：start-dfs.sh；start-yarn.sh
• 健康检查与连通性：
  • jps 查看进程（NameNode、DataNode、ResourceManager、NodeManager 等）
  • 浏览器访问：HDFS NameNode 50070、YARN ResourceManager 8088
  • 命令行验证：hdfs dfsadmin -report；yarn node -list；在各节点间 ping 主机名与测试 SSH 免密登录。

五 常见问题与排查要点

• 主机名解析不一致：确保所有节点 /etc/hosts 一致，且 Hadoop 配置中使用主机名而非易变 IP。
• 端口未放行或被占用：核对 8020/50010/50090/8032/8088 等端口策略与占用情况（ss -lntp | grep 端口）。
• SSH 免密失败：检查 ~/.ssh 目录与 authorized_keys 权限（700/600），以及 root 是否允许登录。
• 防火墙或 SELinux 拦截：按策略放行端口；测试环境可临时关闭 SELinux 与防火墙验证是否为根因。
• DataNode 未注册：核对 dfs.datanode.address、dfs.namenode.rpc-address、存储目录权限与磁盘空间。