CentOS上HDFS安装步骤是什么

CentOS 上安装与部署 HDFS 步骤

一 准备环境

• 操作系统建议使用 CentOS 7/8，确保节点间网络互通，配置 /etc/hosts 或使用 DNS 正确解析主机名。
• 安装 Java 8（Hadoop 3.x 常用版本）：
  sudo yum install -y java-1.8.0-openjdk-devel
  java -version
• 配置 SSH 免密登录（集群管理需要）：
  ssh-keygen -t rsa
  ssh-copy-id hadoop@namenode
  ssh-copy-id hadoop@datanode1
• 防火墙放行端口（示例）：9000（HDFS RPC）、50070（NameNode Web UI）、以及 DataNode 常用端口 50010/50020/50075/50090；如使用 YARN，还需 8088（ResourceManager Web UI）。

二 安装 Hadoop 并配置环境变量

• 下载并解压（以 Hadoop 3.3.1 为例）：
  wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
  sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
• 配置环境变量（/etc/profile.d/hadoop.sh）：
  export HADOOP_HOME=/usr/local/hadoop
  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  source /etc/profile.d/hadoop.sh
• 验证安装：
  hadoop version

三 配置 HDFS 核心文件

• 编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh：
  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
• 编辑 core-site.xml：
  fs.defaultFS hdfs://namenode:9000 hadoop.tmp.dir /usr/local/hadoop/tmp
• 编辑 hdfs-site.xml：
  dfs.replication 3 dfs.namenode.name.dir /usr/local/hadoop/data/namenode dfs.datanode.data.dir /usr/local/hadoop/data/datanode
• 集群节点清单（workers/slaves）：在 $HADOOP_HOME/etc/hadoop/workers（旧版为 slaves）中列出所有 DataNode 主机名，例如：
  datanode1
  datanode2
  datanode3

四 启动与验证

• 首次启动前在 NameNode 上格式化：
  hdfs namenode -format
• 启动 HDFS：
  start-dfs.sh
• 验证进程（应见到 NameNode/DataNode/SecondaryNameNode 等）：
  jps
• 查看 HDFS 状态与 Web UI：
  hdfs dfsadmin -report
  浏览器访问 http://namenode:50070（NameNode Web UI）。

五 常见问题与扩展

• 目录权限与归属：确保 Hadoop 目录可被运行用户访问，例如：
  sudo chown -R hadoop:hadoop /usr/local/hadoop
• 时间同步：集群节点建议启用 NTP 同步，避免安全令牌过期等问题。
• 单节点快速部署：如仅测试，可将 fs.defaultFS 设为 hdfs://localhost:9000，并将 dfs.replication 设为 1。
• 启用 YARN（可选）：配置 mapred-site.xml 的 mapreduce.framework.name=yarn，配置 yarn-site.xml 的 yarn.nodemanager.aux-services=mapreduce_shuffle，然后启动 start-yarn.sh，访问 http://resourcemanager:8088。