Debian Hadoop 网络配置注意事项

Debian Hadoop 网络配置注意事项

一 基础网络与主机解析

• 使用静态IP避免地址漂移，按 Debian 习惯编辑**/etc/network/interfaces或使用NetworkManager/nmcli**；确保同一网段、正确的子网掩码与默认网关。示例：
  • auto eth0 iface eth0 inet static address 192.168.1.100 netmask 255.255.255.0 gateway 192.168.1.1
• 在所有节点维护一致的**/etc/hosts**，用主机名互指，避免依赖外网 DNS 解析集群内部地址。示例：
  • 192.168.1.100 namenode
  • 192.168.1.101 datanode1
  • 192.168.1.102 datanode2
• 配置DNS（如 /etc/resolv.conf 或 netplan/NetworkManager 的 DNS 项），保证外部域名可解析。示例：
  • nameserver 8.8.8.8
  • nameserver 8.8.4.4
• 统一主机名与**/etc/hosts**映射，禁止出现重复主机名或 IP 冲突。

二 Hadoop 关键配置与端口

• 在core-site.xml中使用主机名配置默认文件系统：
  • fs.defaultFShdfs://namenode:9000
• 在yarn-site.xml启用 Shuffle 服务：
  • yarn.nodemanager.aux-servicesmapreduce_shuffle
  • yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler
• 在mapred-site.xml指定使用 YARN：
  • mapreduce.framework.nameyarn
• 在hdfs-site.xml设置副本数与数据目录（示例）：
  • dfs.replication3
  • dfs.namenode.name.dirfile:///usr/local/hadoop/dfs/name
  • dfs.datanode.data.dirfile:///usr/local/hadoop/dfs/data
• 开放常用端口（示例，按实际版本与部署调整）：
  • SSH 22/TCP
  • HDFS NameNode 50070/TCP
  • HDFS DataNode 50010/TCP
  • YARN ResourceManager 8088/TCP
  • YARN NodeManager 8042/TCP
• 如跨多机架，配置机架感知以优化跨机架流量与容错。

三 连通性与安全

• 配置SSH 免密码登录：各节点生成密钥，将公钥分发至所有节点的**~/.ssh/authorized_keys**，便于集群启停与作业提交流程自动化。
• 使用ufw/iptables仅放行必要端口与源网段，最小化暴露面；云环境配合安全组仅允许管理网与集群网段访问。
• 建议将管理网与数据网分离（或明确绑定网卡），避免业务/管理流量互相干扰；必要时做VLAN/VRF隔离。
• 规划MTU一致（如1500），避免链路分片影响吞吐；同网段优先使用千兆以太网或更高带宽。

四 验证与排错清单

• 基础连通性：ping 网关与各节点主机名；检查ip addr与路由表是否正确。
• 服务连通性：在各节点测试访问 namenode:9000、ResourceManager:8088 等关键端口（如 curl/telnet/nmap）。
• 进程与日志：执行jps核对 NameNode/DataNode/ResourceManager/NodeManager 是否就绪；查看 $HADOOP_HOME/logs/ 下相关日志定位异常。
• 配置一致性：复核 /etc/hosts、core-site.xml/hdfs-site.xml/yarn-site.xml/mapred-site.xml 中的主机名与端口在各节点完全一致。
• 防火墙与安全组：逐项确认已放行 SSH/HDFS/YARN 端口，避免“能解析但连不通”的配置遗漏。