Hadoop在Linux系统上如何扩展存储

Hadoop在Linux系统上扩展存储主要有**横向扩容（增加节点）和纵向扩容（提升单机存储）**两种方式，具体操作如下：

一、横向扩容（推荐，线性扩展存储）

核心步骤：

1. 准备新节点：
   • 在新机器上安装Hadoop，配置网络（IP、主机名）、SSH免密登录，确保与集群其他节点通信正常。
2. 更新配置文件：
   • 在NameNode的hdfs-site.xml中添加新DataNode的存储目录（如<property><name>dfs.datanode.data.dir</name><value>/data1,/data2</value></property>）。
   • 若需新增节点，将其IP添加到hdfs-site.xml的dfs.replication相关配置中（可选）。
3. 启动新节点：
   • 在新节点上执行hdfs datanode命令启动服务，新节点会自动注册到NameNode。
4. 数据平衡：
   • 执行hdfs balancer命令，将数据均匀分布到新旧节点，避免单节点负载过高。
5. 验证扩容：
   • 通过hdfs dfsadmin -report查看集群状态，确认新节点已加入且存储空间正常。

二、纵向扩容（提升单机存储容量）

核心步骤：

1. 添加新硬盘：
   • 在现有节点上插入新硬盘，使用fdisk /dev/sdb（假设新硬盘为/dev/sdb）进行分区、格式化（如mkfs.xfs /dev/sdb1）。
2. 挂载硬盘：
   • 创建挂载点（如/data），编辑/etc/fstab添加挂载信息（如/dev/sdb1 /data xfs defaults 0 0），执行mount -a使配置生效。
3. 配置HDFS存储路径：
   • 修改hdfs-site.xml，在dfs.datanode.data.dir中添加新挂载路径（如<value>/data,/opt/hadoop/data</value>）。
4. 重启服务：
   • 重启DataNode服务（hadoop-daemon.sh start datanode或systemctl restart hadoop-datanode），使新硬盘生效。
5. 验证扩容：
   • 通过df -h查看磁盘使用情况，确认新硬盘已挂载；通过hdfs dfsadmin -report查看节点存储状态。

注意事项

• 数据安全：扩容前备份重要数据，避免格式化或配置错误导致数据丢失。
• 性能影响：纵向扩容需注意单节点硬件限制（如磁盘I/O），建议优先横向扩容。
• 集群一致性：确保所有节点配置一致，避免因配置差异导致集群异常。

参考来源：