Ubuntu Hadoop 资源怎么分配

Ubuntu环境下Hadoop资源分配指南
在Ubuntu上部署Hadoop时，资源分配需围绕HDFS存储、YARN计算、JVM内存及系统基础四大核心展开，以下是具体配置逻辑与实践方案：

一、HDFS资源分配：存储层优化

HDFS作为分布式存储系统，资源分配需平衡数据可靠性与存储效率：

• 副本数（dfs.replication）：默认3副本（适用于生产环境），若为测试环境可调整为2以节省存储；副本数越多，容错能力越强，但会增加存储开销。
• 块大小（dfs.block.size）：根据数据规模调整，小文件（<128MB）建议增大至256MB（减少元数据压力），大文件保持128MB~256MB（提升并行读取效率）。
• 数据目录（dfs.namenode.name.dir/dfs.datanode.data.dir）：NameNode存储元数据的目录需配置为高性能存储（如SSD），DataNode存储数据目录可使用SSD或高速HDD（根据成本与性能需求权衡）。

二、YARN资源分配：计算层核心配置

YARN是Hadoop的计算资源管理器，需合理分配内存、CPU及调度策略：

• NodeManager资源：
  • yarn.nodemanager.resource.memory-mb：设置为节点总内存的80%~90%（避免预留过多内存导致系统或其他服务无法运行）；例如，16GB内存节点可设置为12~14GB。
  • yarn.nodemanager.resource.cpu-vcores：设置为节点物理CPU核心数的80%~100%（如4核CPU可设置为3~4）；若启用超线程，可按逻辑核心数设置。
• Scheduler配置：
  • yarn.scheduler.minimum-allocation-mb：单个容器最小内存（如1GB），避免任务分配过小内存导致频繁申请资源。
  • yarn.scheduler.maximum-allocation-mb：单个容器最大内存（需与yarn.nodemanager.resource.memory-mb一致），防止任务超分配。
• Shuffle服务：yarn.nodemanager.aux-services需设置为mapreduce_shuffle（MapReduce任务的shuffle阶段依赖此服务），yarn.nodemanager.aux-services.mapreduce.shuffle.class设置为org.apache.hadoop.mapred.ShuffleHandler。

三、MapReduce资源分配：任务执行优化

MapReduce任务的资源分配需匹配YARN配置，避免资源冲突：

• 任务内存：
  • mapreduce.map.memory.mb：Map任务内存（如2GB，根据数据量调整）；mapreduce.reduce.memory.mb：Reduce任务内存（如4GB，Reduce通常比Map更耗资源）。
  • 需确保mapreduce.map.memory.mb≥yarn.scheduler.minimum-allocation-mb，mapreduce.reduce.memory.mb≤yarn.scheduler.maximum-allocation-mb。
• JVM堆内存：通过mapreduce.map.java.opts（Map任务JVM参数）、mapreduce.reduce.java.opts（Reduce任务JVM参数）设置，建议为任务内存的70%~80%（如Map任务内存2GB，JVM堆设置为1400MB~1600MB）；避免堆内存过大导致GC频繁。
• 压缩配置：启用中间数据压缩（mapreduce.map.output.compress=true）和输出数据压缩（mapreduce.output.fileoutputformat.compress=true），使用Snappy算法（兼顾速度与压缩比），减少磁盘IO与网络传输。

四、JVM与系统基础优化

• JVM垃圾回收：在hadoop-env.sh中设置HADOOP_HEAPSIZE（如4GB~16GB，根据节点内存调整），并为NameNode单独分配更多内存（如8GB~16GB）；推荐使用G1GC垃圾回收器（-XX:+UseG1GC），并通过-XX:MaxGCPauseMillis=200控制停顿时间。
• 系统内核调优：修改/etc/sysctl.conf，设置vm.swappiness=10（减少内存交换，提升IO性能）、net.core.rmem_max=16777216（增大TCP接收缓冲区，提升网络传输效率）；通过sysctl -p使配置生效。
• 禁用非必要服务：使用systemctl disable关闭非核心服务（如Apache、MySQL），减少系统资源占用。

五、资源监控与调优

• 监控工具：使用Ambari、Cloudera Manager或Prometheus+Granafa监控集群的CPU、内存、磁盘IO、网络带宽及任务执行时间，识别瓶颈节点。
• 日志分析：定期查看NameNode（hadoop-name-node.log）、DataNode（hadoop-data-node.log）、ResourceManager（yarn-resourcemanager.log）日志，分析慢任务、磁盘错误或网络延迟问题。
• 基准测试：使用TestDFSIO（测试HDFS读写性能）、NNBench（测试NameNode性能）定期评估集群性能，为优化提供数据支持。

以上配置需根据集群规模（节点数量、内存、CPU）、业务需求（实时/离线计算）及数据特性（文件大小、访问模式）灵活调整，建议先在测试环境验证配置效果，再推广至生产环境。