CentOS HDFS配置中常见误区

以下是CentOS HDFS配置中的常见误区及解决方法：

1. 机架感知配置错误：未正确设置机架感知信息，导致数据块副本分布不均，增加网络负载。需在hdfs-site.xml中配置dfs.network.script等参数，并通过hdfs dfsadmin -printTopology验证拓扑。
2. 权限问题：Hadoop目录或文件权限不足，导致“权限被拒绝”错误。需用chown命令将相关目录（如/data、Hadoop安装目录）授权给Hadoop用户。
3. 环境变量配置错误：HADOOP_HOME或JAVA_HOME未正确设置，导致命令无法执行。需在/etc/profile中添加变量并执行source使配置生效。
4. 配置文件参数错误：hdfs-site.xml或core-site.xml中参数（如dfs.replication、路径等）设置错误。需仔细检查配置，确保URI分隔符为Linux风格（/）。
5. NameNode格式化问题：未正确格式化NameNode或未清理旧数据，导致集群无法启动。需先停止所有节点，删除data和log目录，再执行hdfs namenode -format。
6. 防火墙未开放端口：防火墙阻止HDFS服务端口（如50070），导致节点间通信失败。需关闭防火墙或开放必要端口。
7. 启动顺序错误：未按“先NameNode，后DataNode/Secondary NameNode”顺序启动，导致集群异常。需严格遵循启动顺序。
8. 版本兼容性问题：Hadoop版本与配置文件或组件不兼容。需确保版本一致，参考官方文档配置。
9. 主机名与IP映射错误：/etc/hosts中主机名与IP未正确映射，导致节点无法通信。需确保配置文件中主机名与实际一致。
10. SSH免密登录配置错误：公钥未正确导入，导致无法实现免密登录。需生成密钥对并通过ssh-copy-id分发公钥。