hdfs配置centos要注意啥

在CentOS上配置HDFS需注意以下关键点：

1. 系统兼容性：确保Hadoop版本与CentOS版本匹配，如Hadoop 3.x通常与CentOS 7+兼容。
2. 用户权限：使用普通用户操作，避免root，配置sudo权限以便执行特权命令。
3. 网络配置：
   • 配置静态IP和主机名，确保节点间通信正常。
   • 编辑/etc/hosts文件，映射主机名与IP。
4. SSH免密登录：生成密钥对并分发公钥到所有节点，实现无密码认证。
5. 防火墙与SELinux：关闭防火墙或开放HDFS所需端口（如9000、50070等），根据需要调整SELinux策略。
6. 配置文件：
   • core-site.xml：设置默认文件系统和NameNode地址。
   • hdfs-site.xml：配置副本数、数据目录等参数。
   • 确保配置文件在所有节点一致。
7. 时间同步：使用NTP或chrony同步所有节点时间，避免数据一致性问题。
8. 格式化NameNode：首次启动前需格式化，删除原有数据目录（如/hadoop/data）后操作。
9. 资源分配：根据节点角色（NameNode/DataNode）合理分配内存、CPU和磁盘资源。
10. 安全配置：可启用Kerberos认证、配置ACL权限，保护数据安全。
11. 监控与日志：部署监控工具（如Prometheus、Ganglia），记录日志以便故障排查。

参考来源：