Hadoop在Linux中的存储怎样管理

Hadoop在Linux中的存储管理

一 架构与关键参数

• 存储核心为HDFS：由NameNode管理元数据，DataNode存储实际数据块，默认块大小128MB，副本数默认3，可按业务在hdfs-site.xml中调整dfs.blocksize与dfs.replication。写入时客户端切分文件并向NameNode申请存储，读取时按NameNode返回的块位置直接从DataNode读取。为提升可靠性，建议为NameNode与DataNode配置多个本地目录（多磁盘/多路径）以分散I/O与提升可用性。

二 目录与磁盘规划

• 推荐将操作系统与HDFS数据盘分离，Linux层面按业务挂载到如**/data1…dataN**，HDFS层面将多个目录配置到dfs.datanode.data.dir与（HA/非HA场景下的）dfs.namenode.name.dir，实现多盘并行与故障隔离。示例规划：
  • 系统盘：RAID1（如**/dev/sda**），承载**/、/boot**、swap等
  • 数据盘：多块直连盘以JBOD方式挂载为**/data1…dataN**，供HDFS使用
  • HDFS目录：NameNode元数据目录与DataNode数据目录分别指向不同磁盘，避免单盘瓶颈
• 示例（hdfs-site.xml片段）：
  • dfs.namenode.name.dirfile:/data1/hdfs/name,file:/data2/hdfs/name
  • dfs.datanode.data.dirfile:/data1/hdfs/data,file:/data2/hdfs/data,file:/data3/hdfs/data
• 说明：多目录可提升容量与吞吐，并降低单盘故障影响范围；NameNode多目录有助于元数据高可用。

三 日常运维与容量管理

• 配额与空间治理：按业务在HDFS上设置目录配额（quota）与空间配额（space quota），定期清理无效数据，结合HDFS回收站策略（如开启fs.trash.interval，常见设置为10080分钟）降低误删风险。
• 均衡与修复：当新增磁盘或节点后，使用HDFS磁盘平衡工具均衡各盘利用率；出现坏盘/慢盘时，先隔离故障盘、迁移数据，再执行修复与再均衡，避免数据倾斜与热点。
• 监控与压测：结合vmstat、iostat等工具观察CPU/内存/磁盘/网络瓶颈，并定期进行读写压测验证带宽、IOPS与数据本地化对性能的影响，作为容量与扩容决策依据。

四 Linux层性能与稳定性优化

• 减少换页：调低vm.swappiness，降低内核对Swap的依赖，避免I/O抖动与GC停顿放大。
• I/O调度与挂载：SSD优先noop或mq-deadline，HDD可用deadline；为数据盘挂载添加noatime减少元数据写入；选择XFS/ext4等适合大文件与高并发的文件系统。
• 资源与监控：关闭不必要的系统服务释放内存与CPU；使用tuned按角色自动调优内核参数；持续用iostat/vmstat定位瓶颈并滚动优化。

五 快速上手与常用命令

• 初始化与启动：安装JDK，配置环境变量，编辑core-site.xml（如设置fs.defaultFS）与hdfs-site.xml（如设置dfs.replication），执行hdfs namenode -format初始化后启动HDFS（如start-dfs.sh）。
• 常用HDFS操作：
  • 上传/下载：hdfs dfs -put /local/file /hdfs/path、hdfs dfs -get /hdfs/file /local/path
  • 查看与配额：hdfs dfs -ls /hdfs/path、hdfs dfsadmin -setQuota 100000 /hdfs/path、hdfs dfsadmin -setSpaceQuota 1t /hdfs/path
  • 回收站：启用fs.trash.interval后，删除文件会进入回收站，保留期内可hdfs dfs -rm -r /hdfs/file恢复
• 提示：生产环境建议将dfs.replication设为3（跨机架/跨节点），dfs.blocksize依据作业类型调优（大文件批处理常用128MB或更高）。