如何测试CentOS HDFS配置性能

CentOS 上评估 HDFS 配置性能

一 测试准备与基线

• 确认环境可用：执行 hadoop version；首次部署先 hdfs namenode -format；启动 start-dfs.sh；用 hdfs dfsadmin -report 检查 NameNode/DataNode 状态；做小文件上传/读取验证配置是否正确。为减少干扰，测试时尽量使用干净环境，避免启动 SecondaryNameNode、Balancer、RaidNode 等会占用 NameNode 资源的服务。为降低系统缓存影响，后续磁盘/文件系统压测建议使用 fio direct=1 绕过页缓存。

二 核心基准工具与命令

• TestDFSIO（HDFS 吞吐基准）
  • 写：hadoop jar /path/to/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -write -nrFiles 10 -size 1GB -resFile /path/result.log
  • 读：hadoop jar /path/to/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -read -nrFiles 10 -size 1GB -resFile /path/result.log
  • 清理：hadoop jar /path/to/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -clean
  • 典型输出字段：Total MBytes processed、Throughput mb/sec、Average IO rate mb/sec、IO rate std deviation、Test exec time sec。建议多次运行取平均，便于对比配置前后差异。
• Terasort（排序综合基准）
  • 生成数据：hadoop jar hadoop-examples.jar teragen -Dmapred.map.tasks=100 -Ddfs.block.size=134217728 10000000000 /terasort/output
  • 执行排序：hadoop jar hadoop-examples.jar terasort /terasort/output /terasort/sorted
  • 校验结果：hadoop jar hadoop-examples.jar teravalidate /terasort/sorted /terasort/validate
  • 通过控制 map 数 与 block size，可评估不同并发与块大小下的整体 MR+HDFS 表现。
• SliveTest（NameNode RPC 压力）
  • 典型用法：hadoop jar slivetest.jar -maps 50 -ops 2000 -baseDir /test/slive -resFile slive.out
  • 可配置 ls/create/delete/read/append/rename 等操作占比、blockSize、readSize/writeSize、sleep 等，用于模拟大量 RPC 场景，检验 NameNode 在高并发下的稳定性与处理能力。
• NNBench / MRBench（元数据与作业调度压力）
  • NNBench 侧重 NameNode 元数据操作吞吐；MRBench 侧重 MapReduce 作业调度与执行往返。二者适合做轻量级回归与容量评估，命令格式与参数请参考对应工具文档。

三 结果解读与对比

• TestDFSIO 关键指标
  • 关注：Throughput mb/sec（吞吐）、Average IO rate mb/sec（平均 IO 速率）、IO rate std deviation（波动）、Test exec time sec（耗时）。吞吐越高、波动越小、耗时越短，代表 HDFS 在当前配置与负载下的 I/O 表现越好。
• Terasort 关键指标
  • 以“排序数据量/耗时”衡量整体处理能力，兼顾 Map/Reduce 阶段与 HDFS 读写路径。可通过调整 block size 与 并发 map 数 观察对排序性能的影响。
• SliveTest 关键指标
  • 关注 RPC 成功率、平均/95分位时延、吞吐（ops/s） 等，定位 NameNode 在混合操作下的瓶颈与退化点。

四 测试流程与注意事项

• 流程建议
  • 基线：空集群或接近生产的数据/目录结构下跑 TestDFSIO 写→读→清理，记录结果。
  • 变更：仅变更 一个 配置项（如 dfs.blocksize、dfs.replication、dfs.namenode.handler.count 等），保持其他条件一致。
  • 复测：重复 3–5 次取平均；必要时更换文件数/大小（如 nrFiles、size）验证不同工作负载下的表现。
  • 交叉验证：用 Terasort/SliveTest 验证排序与元数据路径在不同配置下的表现是否一致。
• 注意事项
  • 避免系统缓存影响：磁盘/本地 FS 压测用 fio direct=1；HDFS 层面 TestDFSIO 本身会写入真实数据，无需额外绕过缓存。
  • 控制变量：测试期间停止 Balancer/SecondaryNameNode/RaidNode；尽量使用专用测试目录，避免与业务数据混用。
  • 资源隔离：避免其他重负载作业干扰；必要时通过 YARN 队列/资源限制 保证测试独占性。
  • 监控与日志：结合 Ganglia/Dashboard 观察 RPC 处理时间、IOPS、Sync 次数 等；同时检查 /var/log/hadoop/ 下相关日志定位异常。