Debian HDFS如何配置与管理

一、基础配置

1. 环境准备

   • 安装Java：确保系统已安装Java 8+，配置JAVA_HOME环境变量。
   • 下载Hadoop：从官网获取安装包并解压至指定目录，如/usr/local/hadoop。
   • 配置网络：在/etc/hosts中添加所有节点的主机名与IP映射，确保节点间互通。

2. 核心配置文件

   • core-site.xml：设置默认文件系统（如fs.defaultFS=hdfs://namenode:8020）和临时目录。
   • hdfs-site.xml：配置副本数（dfs.replication）、NameNode和DataNode数据目录、高可用参数（如dfs.nameservices、dfs.ha.namenodes等）。
   • yarn-site.xml：配置ResourceManager和NodeManager参数，启用YARN高可用需设置yarn.resourcemanager.ha.enabled。
   • slaves/masters文件：列出DataNode和ResourceManager节点主机名。

3. 权限与安全

   • 配置用户权限：使用hdfs dfs -chown设置文件/目录所有者，hdfs dfs -chmod设置权限。
   • 启用Kerberos认证（可选）：在配置文件中添加Kerberos相关参数，确保集群安全。

二、服务管理

1. 启动与停止

   • 格式化NameNode（仅在首次启动时执行）：

     hdfs namenode -format
     

   • 启动HDFS集群：

     $HADOOP_HOME/sbin/start-dfs.sh
     

   • 启动YARN集群（若配置）：

     $HADOOP_HOME/sbin/start-yarn.sh
     

2. 状态监控

   • 通过Web界面查看集群状态：
     • HDFS：http://namenode:50070
     • YARN：http://resourcemanager:8088。
   • 使用命令行工具：jps查看进程，hdfs dfsadmin -report查看节点状态。

三、高可用性配置（可选）

1. ZooKeeper集群搭建

   • 在3个节点上安装ZooKeeper，配置zoo.cfg并启动服务。

2. HDFS高可用参数

   • 在hdfs-site.xml中设置：
     • dfs.nameservices：定义集群名称。
     • dfs.ha.namenodes：指定主备NameNode名称。
     • dfs.namenode.shared.edits.dir：配置JournalNode共享存储路径。

3. 故障转移测试

   • 模拟主NameNode故障，验证备用节点是否自动接管服务。

四、常用管理命令

• 文件操作：

  hdfs dfs -ls /          # 列出目录  
  hdfs dfs -mkdir /test   # 创建目录  
  hdfs dfs -put localfile /hdfs/path  # 上传文件  
  hdfs dfs -get /hdfs/path localfile  # 下载文件  
  

• 集群管理：

  hdfs dfsadmin -refreshNodes  # 刷新节点列表  
  yarn node -list            # 查看NodeManager状态  
  

五、注意事项

• 确保所有节点时间同步（如使用NTP服务）。
• 配置防火墙时开放HDFS/YARN所需端口（如50070、8088等）。
• 生产环境建议使用配置管理工具（如Ansible）批量部署和配置节点。

参考资料：