CentOS下HDFS集群管理指南
start-dfs.sh启动整个HDFS集群（自动启动本地NameNode及所有DataNode）；停止集群使用stop-dfs.sh。若需单独管理某组件（如仅启停NameNode），可使用hadoop-daemon.sh命令（例如hadoop-daemon.sh start namenode）。jps命令查看NameNode、DataNode等关键进程是否运行；使用hdfs dfsadmin -report获取集群详细状态（包括DataNode数量、存储容量、剩余空间及节点健康状况）。节点添加：
① 新节点与集群时间同步（安装NTP服务并同步时间）；配置NameNode到新节点的SSH无密码登录；关闭防火墙或开放HDFS相关端口（如9000、50070）。
② 将NameNode节点的/etc/hadoop/conf/目录下的core-site.xml、hdfs-site.xml复制到新节点相同目录；编辑新节点的hdfs-site.xml，添加dfs.namenode.datanode.registration.ip-hostname-check false（避免IP/主机名校验问题）。
③ 在新节点执行hadoop-daemon.sh start datanode启动DataNode服务；回到NameNode节点执行hdfs dfsadmin -report，确认新节点已加入集群。
节点安全移除：
① 在NameNode节点执行hdfs dfsadmin -decommissionNode <目标节点主机名/IP>，等待命令完成（确保目标节点数据已迁移至其他节点）。
② 执行hdfs dfsadmin -refreshNodes使配置生效，目标节点将从集群中优雅退役。
hdfs dfs -chmod修改文件/目录权限（如hdfs dfs -chmod 755 /user/data），hdfs dfs -chown修改所有者（如hdfs dfs -chown user:group /user/data）；支持更精细的ACL（访问控制列表），通过hdfs dfs -setfacl添加权限（如hdfs dfs -setfacl -m user:alice:rwx /user/data）、hdfs dfs -getfacl查看权限。user1的文件数量配额为1000个：hdfs dfsadmin -setQuota -n user:user1 1000；设置目录/user/data的空间配额为1TB：hdfs dfsadmin -setSpaceQuota -n user:data 1T。集群监控：
① 命令行工具：hdfs dfsadmin -report查看集群整体状态；hdfs fsck /检查文件系统健康状况（识别损坏文件块、丢失副本）；hdfs dfs -df -h /查看HDFS根目录空间使用情况。
② Web界面：通过NameNode的Web界面（默认http://<namenode-host>:9870）查看集群拓扑、节点状态、存储指标等。
③ 第三方工具：使用Prometheus+Grafana（可视化监控）、Zabbix（告警）、Ambari（集群管理）等工具，实现对HDFS的长期监控与预警。
日志管理：
① 日志位置：HDFS日志默认存放在$HADOOP_HOME/logs目录下（如NameNode日志为hadoop-*-namenode-*.log，DataNode日志为hadoop-*-datanode-*.log）。
② 实时查看：使用tail -f <日志文件路径>实时查看日志（如tail -f /usr/local/hadoop/logs/hadoop-hadoop-namenode-master.log）。
③ 日志轮转：使用logrotate工具配置日志轮转（示例配置：/var/log/hadoop/hdfs/*.log { daily rotate 7 compress missingok notifempty }），防止日志文件过大。
④ 日志分析：通过ELK Stack（Elasticsearch+Logstash+Kibana）、Splunk等工具集中管理日志，提取关键信息（如NameNode负载、DataNode故障）。
hadoop archive命令将小文件归档为HAR文件（如hadoop archive -archiveName myhar.har -p /user/data /user/archive）。hdfs dfs -put localfile /user/data后，通过hadoop fs -setrep -w 2 -D dfs.replication=2 /user/data调整副本数，配合压缩工具压缩数据）。hdfs balancer命令平衡集群数据（如hdfs balancer -threshold 10，将数据块分布差异控制在10%以内）。hdfs dfsadmin -report确认所有DataNode是否正常运行（若有DataNode未启动，检查其日志文件）。$HADOOP_HOME/logs目录下），定位错误原因（如端口冲突、磁盘空间不足）。core-site.xml（fs.defaultFS是否正确）、hdfs-site.xml（dfs.replication、dfs.namenode.name.dir是否配置正确）等配置文件是否有语法错误或参数设置不当。