Hadoop在Linux上的部署有哪些注意事项

Hadoop在Linux部署需注意以下事项：

1. 系统环境
   • 推荐使用CentOS 7+或Ubuntu 18.04+等稳定发行版。
   • 安装Java 8或11（OpenJDK/Oracle JDK），配置JAVA_HOME环境变量。
2. 网络与权限
   • 配置SSH免密登录，确保节点间通信无密码验证。
   • 关闭防火墙或开放Hadoop必要端口（如9000、50070等）。
   • 确保主机名配置正确，在/etc/hosts中映射IP与主机名。
3. 配置文件
   • 修改core-site.xml配置HDFS地址（如fs.defaultFS=hdfs://localhost:9000）。
   • 在hdfs-site.xml中设置副本因子（生产环境建议≥3）、数据存储路径。
   • 配置YARN资源管理相关参数，如yarn.nodemanager.aux-services=mapreduce_shuffle。
4. 性能优化
   • 关闭swap分区（调整vm.swappiness=0），避免内存数据频繁换页。
   • 增大文件描述符限制（ulimit -n）和内核参数net.core.somaxconn。
   • 选择合适的I/O调度器（如deadline或noop）提升磁盘读写效率。
5. 安全与维护
   • 生产环境启用Kerberos认证、SSL/TLS加密传输。
   • 定期备份Hadoop配置文件和元数据，制定灾难恢复计划。
   • 监控集群状态，设置资源使用告警（如CPU、内存、磁盘占用）。
6. 其他细节
   • 格式化HDFS前确保dfs.namenode.name.dir目录为空。
   • 避免使用root用户运行Hadoop，建议创建专用用户（如hadoop）。