Ubuntu 环境下 HDFS 数据倾斜的定位与处理
一 问题定位与影响
- 典型表现：部分 DataNode 磁盘使用率显著高于其他节点，出现“热点”节点；读写延迟上升、作业本地性变差、跨机架网络流量增大，严重时导致节点响应变慢甚至故障。常见诱因包括：新节点加入或旧数据删除后分布未收敛、副本修复与再平衡、机架感知与写入策略导致新数据集中、以及 distcp 目标规划不当等。此类不均衡会拖累 MapReduce/Spark/Hive 等计算任务的吞吐与稳定性。
二 存储层均衡 Balancer 与带宽控制
- 基本用法与常用参数
- 启动均衡器：执行
hdfs balancer，通过 -threshold 设置节点使用率差异阈值（如 10 表示 10%），用 -policy 选择策略（datanode 或 blockpool），必要时用 -include/-exclude 限定参与均衡的节点列表。示例：hdfs balancer -threshold 10 -policy datanode。
- 带宽与并发控制
- 动态调节带宽（无需重启）：
hdfs dfsadmin -fs <nameservice> -setBalancerBandwidth <bps>，如 hdfs dfsadmin -fs hdfs://ns1:8020 -setBalancerBandwidth 104857600（约 100 MB/s）。
- 也可在
hdfs-site.xml 中设置 dfs.datanode.balance.bandwidthPerSec（默认单位字节/秒），再重启 DataNode 生效。
- 何时用 blockpool 策略
- 联邦集群或多 Namespace 场景，按块池维度均衡更稳妥，可结合
-include/-exclude 精准选择目标节点，避免影响无关 blockpool。
- 节点内磁盘不均衡的补充手段
- 若单台机器内多磁盘使用率差异大，优先启用 HDFS Disk Balancer（节点级磁盘均衡工具），将高占用磁盘的数据迁移至低占用磁盘，缓解“节点内倾斜”。
三 节点与磁盘层面的快速处置
- 快速止血
- 临时降低热点节点写入压力：在该节点上停止 NodeManager（
yarn --daemon stop nodemanager），避免计算任务继续产生本地写入放大热点。
- 提高保留空间阈值：调大
dfs.datanode.du.reserved（如由默认 5% 提高到更高比例），让 NameNode 停止向接近满的磁盘分配新块，为均衡与清理争取时间。
- 结构性调整
- 对严重不均的节点执行 Decommission（退役）：
hdfs dfsadmin -refreshNodes，待数据迁移完成后下架，能最快释放高压节点。
- 副本数临时调整以“重排”数据：先降副本再升回（如
hdfs dfs -setrep -R -w 2 <path> 后 hdfs dfs -setrep -R -w 3 <path>），副本重建过程会优先写入低占用磁盘，从而缓解倾斜（注意副本数变更对可靠性与开销的影响）。
四 写入与表设计层面的预防
- 源头治理
- 扩容后及时运行 Balancer，避免新节点“吸走”新写入导致短期不均；删除/过期数据后同样要均衡，避免“空洞”与“热点”并存。
- 使用 distcp 做大规模迁移时，合理规划目标路径与带宽，避免目标侧节点瞬时写入集中。
- 表与文件组织
- 在 Hive 等计算层通过分区、分桶与合理文件大小减少后续计算倾斜：例如使用 ORC+Snappy 并开启压缩，按业务键进行 CLUSTER BY/DISTRIBUTE BY 重分区，治理小文件并提升并行度，从源头降低热点概率。
五 上层计算层倾斜的协同处理
- 若作业在 MapReduce/Spark/Hive 阶段出现个别 Reducer 卡在 99.9%、OOM 或数据量异常偏大，属于计算层 Key 倾斜：可对热点 Key 做“随机前缀局部聚合 + 去前缀全局聚合”，或自定义 Partitioner、增加 Reducer 并行度；对 NULL 值进行过滤或打散，以降低单点压力。