Ubuntu上Hadoop网络配置怎样

Ubuntu上配置Hadoop网络需完成以下关键步骤：

1. 配置网络接口

   • 编辑 /etc/netplan/01-netcfg.yaml（Ubuntu 18.04+），设置静态IP、子网掩码、网关，例如：

     network:  
       version: 2  
       ethernets:  
         ens33:  
           addresses: [192.168.1.100/24]  
           gateway4: 192.168.1.1  
           nameservers:  
             addresses: [8.8.8.8, 8.8.4.4]  
     

     应用配置：sudo netplan apply。

2. 配置主机名与DNS解析

   • 修改 /etc/hostname 和 /etc/hosts，确保节点间可通过主机名互相访问，例如：

     # /etc/hosts  
     192.168.1.100 master  
     192.168.1.101 slave1  
     

3. 启用SSH免密登录

   • 生成密钥对：ssh-keygen，将公钥复制到其他节点：ssh-copy-id user@slave1。

4. 配置Hadoop核心文件

   • core-site.xml：设置HDFS默认文件系统，如 fs.defaultFS=hdfs://master:9000。
   • hdfs-site.xml：配置数据存储目录、副本数，如 dfs.replication=3。
   • yarn-site.xml：指定ResourceManager主机名，如 yarn.resourcemanager.hostname=master。

5. 配置环境变量

   • 编辑 ~/.bashrc，添加Hadoop和Java路径：

     export HADOOP_HOME=/path/to/hadoop  
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
     

     生效配置：source ~/.bashrc。

6. 防火墙与端口开放

   • 开放Hadoop所需端口（如HDFS的50070、YARN的8088）：
     sudo ufw allow 50070/tcp。

7. 验证网络连通性

   • 使用 ping 测试节点间网络，jps 检查Hadoop进程是否正常启动。

参考来源：