HDFS配置Ubuntu要注意什么

在Ubuntu上配置HDFS需注意以下关键点：

1. 系统准备

   • 安装JDK 8+并配置环境变量（JAVA_HOME、PATH）。
   • 创建专用用户（如hadoop）并设置sudo权限，避免使用root用户。
   • 配置SSH免密登录，确保节点间通信无密码验证。

2. 核心配置文件

   • core-site.xml：设置NameNode地址（如fs.defaultFS=hdfs://localhost:9000）和临时目录。
   • hdfs-site.xml：配置副本数（dfs.replication，默认3）、NameNode和DataNode存储路径。
   • yarn-site.xml：若需集成YARN，配置资源管理相关参数。

3. 存储与权限

   • 格式化NameNode（首次启动前执行）：hdfs namenode -format。
   • 确保数据存储目录（如/data）权限正确（chown -R hadoop:hadoop /data）。

4. 性能优化

   • 调整块大小（dfs.blocksize，如128MB或256MB，平衡存储与访问效率）。
   • 启用短路读取（dfs.client.read.shortcircuit）减少网络延迟。
   • 根据集群规模调整DataNode数量，避免单点瓶颈。

5. 启动与验证

   • 启动服务：start-dfs.sh（伪分布模式无需start-yarn.sh）。
   • 验证状态：通过jps查看NameNode/DataNode进程，或访问Web界面（如http://localhost:9870）。

6. 安全与维护

   • 定期清理日志（如hadoop/logs目录），避免磁盘占满。
   • 生产环境建议配置高可用（HA）模式，避免单点故障。

参考资料：