怎样配置 Ubuntu Hadoop 网络

配置Ubuntu Hadoop网络需完成以下关键步骤：

1. 设置静态IP地址
   编辑网络配置文件 /etc/netplan/01-netcfg.yaml，指定IP、网关和DNS（以ens33接口为例）：

   network:  
     version: 2  
     ethernets:  
       ens33:  
         addresses: [192.168.1.100/24]  # 静态IP  
         gateway4: 192.168.1.1          # 网关  
         nameservers:  
           addresses: [8.8.8.8, 8.8.4.4] # DNS  
   

   应用配置：sudo netplan apply。

2. 配置主机名与hosts映射

   • 修改主机名：sudo hostnamectl set-hostname namenode（示例）
   • 编辑 /etc/hosts，添加节点IP与主机名映射：

     192.168.1.100 namenode  
     192.168.1.101 datanode1  
     192.168.1.102 datanode2  
     

3. 启用SSH免密登录

   • 生成密钥对：ssh-keygen -t rsa（按回车跳过密码）
   • 复制公钥到其他节点：ssh-copy-id user@datanode1

4. 配置Hadoop核心参数

   • core-site.xml：设置HDFS默认文件系统，如fs.defaultFS=hdfs://namenode:9000。
   • hdfs-site.xml：配置副本数、数据存储路径，如dfs.replication=3。
   • yarn-site.xml：指定ResourceManager主机名，如yarn.resourcemanager.hostname=resourcemanager。

5. 关闭防火墙与SELinux

   sudo ufw disable  # 关闭防火墙  
   sudo setenforce 0 # 临时关闭SELinux（需永久修改需编辑/etc/selinux/config）  
   

6. 验证网络连通性

   • 使用ping命令测试节点间通信：ping datanode1。
   • 启动Hadoop后，通过hdfs dfsadmin -report查看集群状态。

注意：若为集群部署，需确保所有节点配置一致，且网络模式（如桥接模式）支持节点间互通。具体配置需根据实际网络环境调整。