Hadoop在Linux上的部署有哪些技巧

以下是Hadoop在Linux上部署的实用技巧：

1. 环境准备

   • 选择稳定Linux发行版（如CentOS 7/Ubuntu 20.04+），推荐使用Hadoop专用用户避免权限问题。
   • 安装OpenJDK 8/11，通过java -version验证，配置JAVA_HOME环境变量。
   • 配置SSH免密登录，使用ssh-keygen生成密钥并分发至集群节点。

2. 安装与配置

   • 下载Hadoop官方包（如3.3.x版本），解压至/usr/local/并创建符号链接。
   • 配置核心文件：
     • core-site.xml：设置fs.defaultFS为HDFS地址（如hdfs://namenode:9000）。
     • hdfs-site.xml：配置副本数（dfs.replication）、NameNode/DataNode数据目录。
     • yarn-site.xml：指定yarn.nodemanager.aux-services为mapreduce_shuffle。
   • 格式化NameNode：hdfs namenode -format（仅首次启动需执行）。

3. 启动与验证

   • 启动集群：start-dfs.sh（HDFS）和start-yarn.sh（YARN）。
   • 验证状态：通过jps查看进程，访问Web界面（HDFS：http://namenode:50070，YARN：http://namenode:8088）。

4. 优化技巧

   • 性能调优：调整JVM参数（如-Xmx）、HDFS块大小（dfs.blocksize），关闭swap分区（swapoff -a）。
   • 安全配置：启用Kerberos认证，配置防火墙规则限制端口访问。
   • 高可用性：部署NameNode HA（需配置ZooKeeper）和ResourceManager HA。

5. 维护与监控

   • 定期备份HDFS数据，清理临时文件。
   • 使用hdfs dfsadmin -report监控集群状态，通过日志（如/var/log/hadoop）排查问题。

参考来源：