Hadoop性能测试Ubuntu上如何进行

Ubuntu上执行Hadoop性能测试的标准流程

一 前置检查与环境准备

• 确认HDFS与YARN已启动并可用：使用命令查看进程（如jps），应包含NameNode、DataNode、ResourceManager、NodeManager等关键进程；若处于安全模式，先执行：hadoop dfsadmin -safemode leave；必要时为测试用户设置目录权限与配额，例如：hadoop fs -chown <user>:<group> /user/<user> 与 hadoop dfsadmin -setSpaceQuota 1t /user/<user>。以上可避免权限或空间不足导致测试失败。

二 核心测试工具与典型命令

• HDFS I/O基准 TestDFSIO（推荐优先执行）
  • 写入测试（示例：10个文件、每个10GB）：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -write -nrFiles 10 -fileSize 10000
  • 读取测试：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -read -nrFiles 10 -fileSize 10000
  • 清理数据：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -clean
  • 结果关注：Throughput mb/sec、Average IO rate mb/sec、IO rate std deviation、Test exec time sec，用于判断HDFS吞吐与稳定性。
• 计算型作业基准 WordCount（功能与吞吐验证）
  • 准备输入：hadoop fs -mkdir -p in && echo "hello world" > test1.txt && echo "hello hadoop" > test2.txt && hadoop fs -put test*.txt in
  • 运行作业：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount in out
  • 观察作业日志与计数器（如Map/Reduce任务数、耗时、数据量），验证作业调度与计算性能。
• 综合基准 HiBench（多场景覆盖）
  • 适用场景：覆盖micro、sql、ml、graph、websearch、streaming等，常用工作负载含Sort、WordCount、TeraSort、DFSIO等。
  • 关键配置：在HiBench的conf/下编辑hibench.conf，设置hibench.masters.hostnames与hibench.slaves.hostnames为实际主机名；按需调整frameworks.lst与benchmark.lst选择框架与用例。
  • 运行与报告：在HiBench目录下执行./bin/run_all.sh，报告位于report/hibench.report，可查看Duration、Throughput、Throughput/node等指标。

三 测试流程与参数建议

• 流程建议
  • 步骤1：先做TestDFSIO获取HDFS吞吐基线（写→读→清理），确认存储与网络无明显异常。
  • 步骤2：运行WordCount验证计算与调度链路（可更换不同规模输入，观察伸缩性）。
  • 步骤3：使用HiBench按业务特征选择多维度工作负载进行系统化压测与对比。
• 参数建议
  • 文件规模与数量：从小文件（验证调度与开销）到大文件（验证吞吐），逐步放大；例如TestDFSIO可用-nrFiles 10 -fileSize 1GB~10GB区间组合。
  • 资源与并发：结合集群规模设置map/reduce任务数、容器内存与vcore，避免单任务过度并行或资源争用。
  • 稳定性：每轮测试至少重复3次取中位数；测试前清理历史输出与缓存，避免干扰。
  • 版本路径：Hadoop 3.x 的测试JAR路径通常为$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*.jar与hadoop-mapreduce-examples-*.jar，2.x 路径与JAR名可能不同，请以实际安装为准。

四 结果解读与瓶颈定位

• HDFS吞吐：若写吞吐显著低于读吞吐，常见瓶颈在网络带宽/写入放大；若读吞吐偏低，优先排查磁盘顺序读与数据本地性。
• 作业耗时：Map/Reduce阶段不均衡或数据倾斜会导致长尾；结合计数器与日志定位热点分区与数据分布。
• 稳定性：关注IO rate std deviation与作业重试次数；异常抖动可能来自节点负载、磁盘/网络抖动或配置不当。
• 多维对比：使用HiBench报告中的Duration、Throughput、Throughput/node横向对比不同配置/规模，纵向对比优化前后效果。