Debian上HDFS配置有哪些要点

在Debian上配置HDFS需关注以下要点：

1. 硬件与软件环境
   • 确保节点满足最低配置（如NameNode建议SSD存储、足够内存）。
   • 安装Java 8+环境。
2. 网络配置
   • 配置静态IP，编辑/etc/hosts确保节点间可通过主机名通信。
   • 关闭防火墙或开放HDFS所需端口（如NameNode的8020、50070等）。
3. Hadoop环境变量
   • 在/etc/profile或~/.bashrc中设置HADOOP_HOME和PATH。
4. 核心配置文件
   • core-site.xml：设置fs.defaultFS（如hdfs://namenode:9000）。
   • hdfs-site.xml：配置副本数（dfs.replication）、NameNode和DataNode存储路径。
   • mapred-site.xml：指定mapreduce.framework.name为yarn。
   • yarn-site.xml：配置ResourceManager地址及Shuffle服务。
   • slaves：列出所有DataNode主机名。
5. SSH免密登录
   • 在NameNode上生成密钥，并复制到所有DataNode，确保无密码通信。
6. 格式化与启动
   • 在NameNode上执行hdfs namenode -format格式化元数据。
   • 通过start-dfs.sh和start-yarn.sh启动服务。
7. 验证与监控
   • 使用jps命令检查进程，或通过Web界面（如NameNode的50070端口）查看状态。

参考来源：