Ubuntu Hadoop网络如何配置

Ubuntu Hadoop 网络配置实操指南

一 规划与准备

• 规划节点与地址：建议为集群固定内网网段，例如使用 192.168.5.0/24，并为 master、slave1、slave2 分配固定 IP，便于 SSH 与 Hadoop 互相发现。
• 统一主机名：各节点设置唯一主机名（如 master、slave1、slave2），并在所有节点维护一致的 /etc/hosts 映射。
• 虚拟化网络选择：多机部署优先使用 桥接 或 NAT 并固定网关；克隆虚拟机需确保 MAC 地址唯一，避免 IP 冲突。
• 基础连通性：确保节点间可 ping 主机名 与 外网域名，为后续 SSH 免密 与 HDFS/YARN 通信打底。

二 固定 IP 与 DNS 配置

• Ubuntu 22.04/20.04 常用 Netplan（编辑 /etc/netplan/*.yaml，如 01-network-manager-all.yaml 或 50-cloud-init.yaml），示例：
  • 桥接/NAT 场景（示例网关 192.168.5.2）：
    • 文件内容：
      • network:
        • version: 2
        • renderer: networkd
        • ethernets:
          • ens33:
            • dhcp4: false
            • addresses: [192.168.5.11/24]
            • routes: [{ to: default, via: 192.168.5.2 }]
            • nameservers: { addresses: [8.8.8.8, 8.8.4.4] }
    • 应用：sudo netplan apply
  • 如需使用 NetworkManager 渲染器，可将 renderer 改为 NetworkManager 并用 nmcli/nmtui 配置。
• 旧版 ifupdown（/etc/network/interfaces）示例：
  • auto lo
  • iface lo inet loopback
  • auto eth0
  • iface eth0 inet static
    • address 192.168.5.11
    • netmask 255.255.255.0
    • gateway 192.168.5.2
    • dns-nameservers 8.8.8.8 8.8.4.4
  • 使生效：sudo systemctl restart networking（或重启）
• 验证：ip a、ip route、ping 网关、nslookup 域名。

三 主机名与 hosts 映射

• 设置主机名：
  • sudo hostnamectl set-hostname master（各节点分别设为 master/slave1/slave2）
• 统一 hosts（所有节点一致）：
  • 192.168.5.11 master
  • 192.168.5.12 slave1
  • 192.168.5.13 slave2
• 虚拟机/宿主机互通：在 Windows 的 C:\Windows\System32\drivers\etc\hosts 添加同样映射，便于从宿主机访问集群服务。

四 SSH 免密登录

• 所有节点生成密钥：ssh-keygen -t rsa -b 4096（回车默认即可）
• 在 master 上将公钥分发到所有节点（含自身）：
  • ssh-copy-id user@master
  • ssh-copy-id user@slave1
  • ssh-copy-id user@slave2
• 验证：ssh master、ssh slave1、ssh slave2 无需密码即成功。

五 Hadoop 关键网络参数

• core-site.xml：
  • fs.defaultFShdfs://master:9000
• hdfs-site.xml：
  • dfs.replication3
• yarn-site.xml：
  • yarn.resourcemanager.hostnamemaster
• 环境变量（~/.bashrc 或 /etc/profile）：
  • export HADOOP_HOME=/opt/hadoop
  • export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
• 初始化与启动：
  • 仅在 NameNode 执行：hdfs namenode -format
  • 启动：start-dfs.sh、start-yarn.sh
• 连通性自检：
  • hdfs dfsadmin -report（查看 DataNode 注册）
  • yarn node -list（查看 NodeManager 注册）
  • 浏览器访问：http://master:9870（HDFS NameNode）、http://master:8088（YARN ResourceManager）