Ubuntu HDFS配置环境怎么设置

Ubuntu 上配置 HDFS 环境步骤

一 准备环境

• 安装 Java（Hadoop 3.x 建议使用 OpenJDK 8 或 11）
  • 安装示例：sudo apt update && sudo apt install -y openjdk-8-jdk
  • 验证：java -version
• 安装与启动 SSH（Hadoop 脚本依赖）
  • 安装：sudo apt install -y openssh-server
  • 启动：sudo service ssh start
  • 配置本机免密登录（单机伪分布式必需）
    • ssh-keygen -t rsa -b 4096
    • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    • chmod 600 ~/.ssh/authorized_keys
    • 验证：ssh localhost 无需密码即可登录

二 安装与目录准备

• 下载并解压 Hadoop（示例版本 3.3.4）
  • wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
  • sudo tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local
  • sudo mv /usr/local/hadoop-3.3.4 /usr/local/hadoop
  • sudo chown -R $USER:$USER /usr/local/hadoop
• 创建本地数据目录（示例）
  • mkdir -p /usr/local/hadoop/data/{namenode,datanode}
• 设置环境变量（~/.bashrc 或 /etc/profile）
  • echo ‘export HADOOP_HOME=/usr/local/hadoop’ >> ~/.bashrc
  • echo ‘export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin’ >> ~/.bashrc
  • source ~/.bashrc
• 验证安装
  • hadoop version

三 配置 Hadoop 与 HDFS

• 配置 hadoop-env.sh
  • 在 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 中设置
    • export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64（按实际路径调整）
• 配置 core-site.xml
  • fs.defaultFShdfs://localhost:9000 hadoop.tmp.dir/usr/local/hadoop/tmp
• 配置 hdfs-site.xml
  • dfs.replication1 dfs.namenode.name.dir/usr/local/hadoop/data/namenode dfs.datanode.data.dir/usr/local/hadoop/data/datanode
• 说明
  • 端口 9000 为 HDFS RPC 端口；Hadoop 3.x 的 NameNode Web UI 默认端口为 9870（2.x 为 50070）

四 启动与验证

• 格式化 NameNode（首次启动前执行一次）
  • hdfs namenode -format
• 启动 HDFS
  • start-dfs.sh
• 检查进程
  • jps 应看到：NameNode、DataNode、SecondaryNameNode
• 访问 Web UI
  • NameNode：http://localhost:9870（Hadoop 3.x）
• 基本 HDFS 操作测试
  • hdfs dfs -mkdir -p /user/$USER
  • hdfs dfs -put ~/.bashrc /user/$USER/
  • hdfs dfs -ls /user/$USER
  • hdfs dfsadmin -report（查看集群状态）

五 常见问题与防火墙

• 端口与防火墙
  • 若启用防火墙，放行相关端口（示例）
    • sudo ufw allow 9000
    • sudo ufw allow 9870
• SSH 连接问题
  • 无法免密登录时，确认 ~/.ssh 权限为 700，authorized_keys 为 600，并确保 sshd 正常运行
• JAVA_HOME 未生效
  • 除系统环境变量外，务必在 hadoop-env.sh 中显式设置 JAVA_HOME，避免启动报错
• 目录权限
  • 确保 HADOOP_HOME 与数据目录对运行用户可写，避免因权限导致启动失败