HDFS在Ubuntu上如何扩容

HDFS在Ubuntu上的扩容方法
HDFS在Ubuntu上的扩容主要分为**横向扩容（增加DataNode节点）和纵向扩容（提升现有节点硬件规格）**两类，其中横向扩容是分布式系统最常用的线性扩展方式。以下是详细操作步骤及注意事项：

一、横向扩容（增加DataNode节点）

1. 准备工作

• 环境检查：确保新节点已安装与现有集群一致的Hadoop版本（建议使用相同小版本），并配置好Java环境（java -version验证）；
• 网络配置：新节点的主机名、IP地址需添加到所有节点的/etc/hosts文件中（格式：IP 主机名），确保节点间可通过主机名互相访问；
• SSH免密登录：在NameNode上生成SSH密钥（ssh-keygen -t rsa），并将公钥（id_rsa.pub）复制到新节点的~/.ssh/authorized_keys中（ssh-copy-id 新节点主机名），验证ssh 新节点主机名无需密码；
• 防火墙设置：临时关闭所有节点的防火墙（sudo ufw disable）或放行Hadoop相关端口（如NameNode的8020、DataNode的50010等）；
• 配置一致性：将现有集群的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等配置文件复制到新节点的$HADOOP_HOME/etc/hadoop/目录下。

2. 添加新节点

• 修改workers文件：在NameNode的$HADOOP_HOME/etc/hadoop/目录下，编辑workers文件（旧版本为slaves），添加新节点的主机名（每行一个），保存后同步该文件到所有NameNode节点；
• 启动新节点服务：在新节点上执行以下命令启动DataNode和NodeManager服务（YARN环境下）：

  $HADOOP_HOME/sbin/hdfs --daemon start datanode
  $HADOOP_HOME/sbin/yarn --daemon start nodemanager
  

• 刷新集群状态：在NameNode上执行以下命令，使集群识别新节点：

  hdfs dfsadmin -refreshNodes  # 刷新NameNode节点列表
  yarn rmadmin -refreshNodes   # 刷新ResourceManager节点列表（YARN环境）
  

3. 数据平衡

• 执行平衡操作：在NameNode上运行HDFS平衡器，将数据从现有节点均匀迁移到新节点（默认阈值10%，可根据需求调整-threshold参数）：

  hdfs balancer -threshold 10
  

• 监控平衡进度：通过以下命令查看平衡状态（进度达到100%表示完成）：

  hdfs balancer -status
  

4. 验证扩容

• 检查节点状态：使用hdfs dfsadmin -report命令查看集群节点列表，确认新节点的State为Live（存活状态）；
• 测试数据访问：向HDFS上传一个小文件（如hdfs dfs -put /local/path/test.txt /test/），然后在新节点上执行hdfs dfs -cat /test/test.txt，验证数据是否可正常读取。

二、纵向扩容（提升现有节点硬件规格）

1. 扩展磁盘容量

• 添加物理硬盘：为新硬盘分区（fdisk /dev/sdX）、格式化（mkfs.ext4 /dev/sdX1）、挂载（mount /dev/sdX1 /data），并修改/etc/fstab实现开机自动挂载；
• 扩展HDFS文件系统：若HDFS数据目录（dfs.datanode.data.dir）指向挂载点（如/data），需先停止DataNode服务（hdfs --daemon stop datanode），然后使用hdfs dfsadmin -setSpaceQuota调整配额（单位：字节），最后重启DataNode服务。

2. 调整HDFS配置

• 优化块大小：若存储大文件，可将dfs.blocksize从默认128MB调整为256MB或更大（减少NameNode元数据压力）；
• 调整副本因子：根据数据重要性调整dfs.replication（默认3，热数据可保持3，冷数据可降低至2）；
• 增加线程池：调整dfs.namenode.handler.count（NameNode线程数，默认10）和dfs.datanode.handler.count（DataNode线程数，默认10），提升并发处理能力。

三、注意事项

• 数据一致性：扩容前务必备份重要数据（可通过hdfs dfs -cp命令复制到本地或其他存储）；
• 低峰操作：扩容过程可能影响集群性能，建议在业务低峰期进行；
• 机架感知：若集群有多个机架，需在core-site.xml中配置topology.script.file.name（机架感知脚本），确保数据副本分布在不同机架，避免单点故障；
• 监控集群：扩容后使用Prometheus+Grafana、Ganglia等工具监控集群资源（CPU、内存、磁盘、网络），及时处理性能瓶颈。