CentOS下Hadoop安装步骤

CentOS 下 Hadoop 安装步骤

一 环境准备

• 准备一台最小化安装的 CentOS 7/8，以普通用户（如 hadoop）操作，必要时使用 sudo。
• 安装 Java 8（OpenJDK 或 Oracle JDK 均可），并正确设置 JAVA_HOME 与 PATH。
• 安装并启动 SSH 服务，配置本机 SSH 免密登录（便于启动脚本远程管理守护进程）。

二 安装与目录规划

• 创建专用用户（可选但推荐）
  • 添加用户与 sudo 权限：
    • useradd -m hadoop
    • passwd hadoop
    • echo “hadoop ALL=(ALL) ALL” | sudo tee /etc/sudoers.d/hadoop
• 安装 Java（示例为 OpenJDK 8）
  • sudo yum install -y java-1.8.0-openjdk-devel
  • 查找 Java 路径：readlink -f /usr/bin/java | sed “s:/bin/java::”
• 下载并解压 Hadoop（示例版本 3.3.4）
  • 建议目录：/opt/hadoop 或 /opt/module/hadoop
  • 示例：
    • sudo mkdir -p /opt/module
    • tar -xzvf hadoop-3.3.4.tar.gz -C /opt/module
    • sudo mv /opt/module/hadoop-3.3.4 /opt/module/hadoop
• 环境变量（推荐写入 /etc/profile.d/hadoop.sh）
  • 示例：
    • echo ‘export HADOOP_HOME=/opt/module/hadoop’ | sudo tee /etc/profile.d/hadoop.sh
    • echo ‘export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin’ | sudo tee -a /etc/profile.d/hadoop.sh
    • source /etc/profile.d/hadoop.sh
• 目录权限（如使用 hadoop 用户）
  • sudo chown -R hadoop:hadoop /opt/module/hadoop
• 验证安装
  • hadoop version
  • java -version

三 伪分布式配置与启动

• 配置 SSH 免密登录（本机）
  • ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  • chmod 0600 ~/.ssh/authorized_keys
  • ssh localhost 测试
• 修改 Hadoop 配置（路径：$HADOOP_HOME/etc/hadoop）
  • hadoop-env.sh
    • 设置：export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk（按实际路径）
  • core-site.xml
    • fs.defaultFShdfs://localhost:9000 hadoop.tmp.dir/opt/module/hadoop/data
  • hdfs-site.xml
    • dfs.replication1 dfs.namenode.name.dir/opt/module/hadoop/data/dfs/name dfs.datanode.data.dir/opt/module/hadoop/data/dfs/data
  • mapred-site.xml（如文件不存在，先 cp mapred-site.xml.template mapred-site.xml）
    • mapreduce.framework.nameyarn
  • yarn-site.xml
    • yarn.nodemanager.aux-servicesmapreduce_shuffle yarn.resourcemanager.hostnamelocalhost
• 格式化 HDFS 并启动
  • hdfs namenode -format
  • start-dfs.sh
  • start-yarn.sh
• 验证
  • jps 应看到：NameNode、DataNode、ResourceManager、NodeManager
  • HDFS Web UI：http://<服务器IP>:9870
  • YARN Web UI：http://<服务器IP>:8088
  • 如无法访问，请检查 firewalld/SELinux 与监听地址绑定。

四 常见问题与排查

• 端口被占用或无法访问
  • 检查端口占用：ss -tulpen | grep -E ‘9000|9870|8088’
  • 开放端口（firewalld）：sudo firewall-cmd --permanent --add-port={9000,9870,8088}/tcp && sudo firewall-cmd --reload
• SSH 免密失败
  • 确认 ~/.ssh/authorized_keys 权限为 600，属主为当前用户；必要时用 ssh-copy-id localhost
• NameNode 格式化失败或 DataNode 未启动
  • 清理并重新格式化：停止集群，删除 $HADOOP_HOME/data/dfs/ 下 name/data 目录后再 hdfs namenode -format
• JAVA_HOME 未生效
  • 确认 hadoop-env.sh 中 JAVA_HOME 为绝对路径，且对启动用户可见
• 权限问题
  • 若以 hadoop 用户运行，确保 /opt/module/hadoop 及数据目录属主为 hadoop:hadoop。