Debian上Hadoop网络设置怎么做

Debian上Hadoop网络设置实操指南

一 基础网络与主机解析

• 规划节点与IP：建议为集群规划固定内网网段，例如使用192.168.1.0/24，并为每个节点设置静态IP与唯一主机名（如：namenode、datanode1、datanode2）。
• 配置主机名解析：在所有节点的**/etc/hosts**中添加条目，确保节点间可用主机名互通。示例：
  192.168.1.100 namenode
  192.168.1.101 datanode1
  192.168.1.102 datanode2
• 配置静态IP（ifupdown）：编辑**/etc/network/interfaces**，示例：
  auto eth0
  iface eth0 inet static
  address 192.168.1.100
  netmask 255.255.255.0
  gateway 192.168.1.1
  dns-nameservers 8.8.8.8 8.8.4.4
  应用：sudo systemctl restart networking（或使用 sudo service networking restart）。
• 可选 DNS 配置：编辑**/etc/resolv.conf**添加 nameserver。
• 网络连通性自检：ping 网关与外部地址（如 ping www.google.com），确认路由与DNS正常。

二 Hadoop网络相关配置

• 安装 Java 与 Hadoop：
  sudo apt update && sudo apt install -y openjdk-8-jdk
  wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local && sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
• 环境变量（所有节点）：在**~/.bashrc或/etc/profile.d/hadoop.sh**中设置：
  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  使生效：source ~/.bashrc 或 source /etc/profile.d/hadoop.sh
• 关键配置文件（示例值，按实际主机名与路径调整）：
  core-site.xml：
  
  fs.defaultFShdfs://namenode:9000
  
  hdfs-site.xml：
  
  dfs.replication3
  dfs.namenode.name.dirfile:///usr/local/hadoop/dfs/name
  dfs.datanode.data.dirfile:///usr/local/hadoop/dfs/data
  
  mapred-site.xml：
  
  mapreduce.framework.nameyarn
  
  yarn-site.xml：
  
  yarn.nodemanager.aux-servicesmapreduce_shuffle
  yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler
  
• 初始化与启动：
  在 NameNode 执行：hdfs namenode -format
  启动 HDFS：start-dfs.sh（在 NameNode 执行）
  启动 YARN：start-yarn.sh（在 ResourceManager 执行）

三 连通性与安全设置

• SSH 免密登录：在集群内各节点间配置 SSH 免密，便于启动/停止与作业提交流程。
• 防火墙放行：使用 UFW 或 firewalld 放行必要端口（如SSH 22、HDFS 与 YARN 相关端口），避免节点间通信被阻断。
• 主机名与解析一致性：确保所有节点对**/etc/hosts**与主机名设置一致，避免因解析错误导致服务异常。
• 网络性能：生产环境建议使用千兆以太网及以上带宽，降低 Shuffle 与复制的网络瓶颈。

四 验证与常见问题

• 进程检查：在各节点执行jps，应能看到对应角色进程（如 NameNode、DataNode、ResourceManager、NodeManager）。
• HDFS 可用性：hdfs dfs -ls / 检查根目录访问是否正常。
• YARN 节点状态：yarn node -list 查看集群节点列表与健康状态。
• 日志排查：若异常，优先查看**$HADOOP_HOME/logs**下相关组件日志，定位端口、权限或解析问题。