Hadoop 网络配置在 Ubuntu 上怎么做

在Ubuntu上配置Hadoop网络需完成以下关键步骤：

1. 配置静态IP地址
   编辑网络配置文件 /etc/netplan/01-netcfg.yaml，设置IP、网关、DNS等信息，例如：

   network:  
     version: 2  
     ethernets:  
       ens33:  
         addresses: [192.168.1.100/24]  
         gateway4: 192.168.1.1  
         nameservers:  
           addresses: [8.8.8.8, 8.8.4.4]  
   

   应用配置：sudo netplan apply。

2. 配置主机名与DNS解析

   • 修改 /etc/hosts，添加节点IP与主机名映射（如 192.168.1.100 master）。
   • 确保 /etc/resolv.conf 包含DNS服务器地址（如 nameserver 8.8.8.8）。

3. 启用SSH免密登录

   • 生成密钥对：ssh-keygen -t rsa（默认路径 ~/.ssh/id_rsa）。
   • 将公钥复制到其他节点：ssh-copy-id user@node-ip。
   • 验证免密登录：ssh node-ip。

4. 关闭防火墙（可选）

   sudo ufw disable  # 关闭防火墙（生产环境需按需开放端口）  
   

   若需开放特定端口（如Hadoop默认端口），使用 sudo ufw allow 端口号。

5. 配置Hadoop网络相关参数

   • 修改 core-site.xml，设置NameNode地址：

     <property>  
       <name>fs.defaultFS</name>  
       <value>hdfs://master-ip:9000</value>  
     </property>  
     

   • 确保 hdfs-site.xml 中配置正确的数据存储路径和副本数。

注意：以上步骤需在所有Hadoop节点上重复执行，确保网络连通性和配置一致性。具体IP和主机名需根据实际集群环境调整。