Hadoop在Ubuntu上的网络配置要求是什么

Hadoop在Ubuntu的网络配置要求

一、基础网络连通性

• 建议使用静态IP或稳定的DHCP保留，避免节点IP漂移导致服务异常；同一局域网内节点需互通。
• 在所有节点配置**/etc/hosts**，用主机名互指，避免仅依赖DNS；示例：
  192.168.1.100 master
  192.168.1.101 slave1
  192.168.1.102 slave2
• 主机名与IP一一对应，且建议删除或避免将真实主机名映射到127.0.0.1（如“127.0.0.1 master”），以免本地解析干扰集群通信。
• 验证：各节点间执行 ping master、ping slave1 等，确保ICMP可达。

二、主机名与解析

• 设置每台机器的**/etc/hostname为本机角色名（如 master、slave1），并统一所有节点的/etc/hosts**映射。
• 如需从宿主机（如 Windows）访问集群Web UI或SSH，建议在宿主机 hosts 中添加同样的IP-主机名映射。
• 验证：执行 hostname 与 getent hosts master，确认本机与对端解析一致。

三、SSH免密登录

• 在NameNode（master）生成密钥并分发公钥到所有DataNode（slave），实现 master→slave 的免密SSH：
  ssh-keygen -t rsa
  ssh-copy-id user@slave1
• 权限建议：.ssh 目录为700，authorized_keys 为600。
• 验证：ssh slave1 无需口令即可登录。

四、Hadoop关键配置中的网络参数

• core-site.xml：设置默认文件系统地址，使用主机名或IP均可，但需与集群解析一致。示例：
  fs.defaultFShdfs://master:9000
• yarn-site.xml：指定ResourceManager所在主机名。示例：
  yarn.resourcemanager.hostnamemaster
• hdfs-site.xml：副本数建议与DataNode数量匹配（如3副本需≥3个DN）。
• 原则：配置中使用主机名时，必须保证所有节点对该主机名的解析一致（/etc/hosts 或DNS）。

五、虚拟机与防火墙要点

• 虚拟机网络模式：
  • 桥接（Bridge）：各VM与宿主机处于同一网段，便于多节点互连与对外访问。
  • NAT：需正确配置NAT子网与端口转发；同一NAT网络内也可互通，但对外访问依赖端口转发规则。
• 克隆VM后需确保各VM的MAC地址唯一，否则易出现IP冲突或网络异常。
• 防火墙与安全组：
  • Ubuntu 可用 ufw 放行集群通信端口（如 HDFS 9000、YARN Web UI 8088 等）或临时关闭验证：
    sudo ufw status
    sudo ufw allow 9000,8088/tcp
  • 云环境需同时放通安全组规则。
• DNS与连通性：
  • 配置可用的 DNS（如 8.8.8.8、8.8.4.4），确保域名解析正常。
  • 验证：ping 外网域名与内网主机，确认内外网均可达。