Hadoop如何进行网络配置

Hadoop网络配置步骤如下：

1. 配置网络接口
   编辑 /etc/sysconfig/network-scripts/ifcfg-ens33（文件名根据实际网卡调整），设置静态IP、子网掩码、网关、DNS，启用网络接口（ONBOOT=yes），重启网络服务生效。

   # 示例（静态IP配置）  
   IPADDR=192.168.1.100  
   NETMASK=255.255.255.0  
   GATEWAY=192.168.1.1  
   DNS1=8.8.8.8  
   

2. 配置主机名与DNS

   • 设置主机名：sudo hostnamectl set-hostname namenode
   • 编辑 /etc/hosts，添加节点IP与主机名映射（如 192.168.1.1 namenode）。
   • 可选：配置DNS服务器（/etc/resolv.conf）。

3. 关闭防火墙与SELinux（非必需）

   sudo systemctl stop firewalld && sudo systemctl disable firewalld  
   sudo vi /etc/selinux/config  # 将 SELINUX=enforcing 改为 SELINUX=disabled  
   

4. 配置SSH免密登录
   生成密钥对：ssh-keygen -t rsa，将公钥复制到其他节点：ssh-copy-id user@node2，确保权限正确（chmod 700 ~/.ssh，chmod 600 ~/.ssh/authorized_keys）。

5. 配置Hadoop核心文件

   • core-site.xml：设置默认文件系统（如 fs.defaultFS=hdfs://namenode:9000）。
   • hdfs-site.xml：配置副本数（dfs.replication=3）、NameNode和DataNode数据目录。
   • yarn-site.xml：设置ResourceManager主机名（yarn.resourcemanager.hostname=resourcemanager）。
   • mapred-site.xml：指定MapReduce框架为YARN（mapreduce.framework.name=yarn）。

6. 配置环境变量
   编辑 /etc/profile 或 ~/.bashrc，添加Hadoop路径：

   export HADOOP_HOME=/usr/local/hadoop  
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
   

   执行 source 使配置生效。

7. 验证网络连通性
   使用 ping 测试节点间网络连通性，通过 ssh 验证免密登录是否正常。

注意：生产环境需根据集群规模调整网络参数（如带宽、延迟），并启用高可用（HA）配置（如JournalNodes、ZKFC）。