以下是在CentOS系统上优化Hadoop性能的关键措施：
一、系统基础优化
- 最小化安装：仅安装必要软件包，减少系统资源占用。
- 关闭非必要服务：禁用防火墙、SELinux等非必需服务。
- 调整内核参数：
- 增大socket监听队列：
net.core.somaxconn=65535。
- 减少swap使用：
vm.swappiness=0。
- 优化文件句柄限制：修改
/etc/security/limits.conf，增大nofile值。
二、HDFS性能优化
- NameNode内存配置：在
hadoop-env.sh中设置HADOOP_NAMENODE_OPTS，根据内存调整JVM堆大小。
- 多目录配置：在
hdfs-site.xml中为NameNode和DataNode配置多个存储目录，提升数据可靠性和读写效率。
- 块大小调整：根据数据规模调整
dfs.blocksize（如128MB~256MB），平衡读写效率与元数据压力。
- 副本策略优化：根据集群规模设置
dfs.replication（通常3副本），避免过度冗余。
- 数据本地性优化：增加DataNode数量，使数据尽量存储在计算节点本地，减少网络传输。
三、YARN资源管理优化
- 内存与CPU配置：
- 设置
yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores，合理分配节点资源。
- 调整容器最小/最大资源分配：
yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb。
- 调度器选择：
- 容量调度器（CapacityScheduler）：适合固定资源分配场景，通过队列隔离不同业务。
- 公平调度器（FairScheduler）：适合动态共享资源，按需分配计算资源。
- 动态资源分配：启用
yarn.scheduler.dynamic-resource-allocation.enabled，提升资源利用率。
四、硬件与网络优化
- 硬件升级：
- 采用SSD存储NameNode元数据和DataNode热点数据，提升I/O性能。
- 使用多核CPU和大内存服务器，支撑并行计算需求。
- 配备万兆网卡，优化网络传输速度。
- 网络参数优化：
- 调整TCP缓冲区大小：
net.ipv4.tcp_rmem和net.ipv4.tcp_wmem。
- 启用TCP连接复用：
net.ipv4.tcp_tw_reuse=1。
五、监控与调优工具
- 内置工具：使用Hadoop的ResourceManager、NodeManager UI监控资源使用情况。
- 第三方工具：部署Ganglia、Prometheus等，实时监控集群性能，定位瓶颈。
- 压力测试：通过TestDFSIO等工具模拟负载，验证优化效果。
六、其他优化策略
- 数据压缩：启用MapReduce输出压缩（如Snappy算法），减少存储和传输开销。
- 避免小文件：合并小文件，降低NameNode元数据压力。
- 缓存优化：配置客户端元数据缓存，加速文件访问。
注意：优化前需在测试环境验证配置有效性，避免影响生产环境稳定性。建议结合业务负载和集群规模逐步调整参数。