Linux下Hadoop配置有哪些要点

Linux下Hadoop配置要点如下：

1. 环境准备

   • 选择稳定Linux发行版（如Ubuntu 20.04、CentOS 7）。
   • 安装JDK 8（高版本可能不兼容），配置JAVA_HOME环境变量。
   • 关闭防火墙或开放必要端口（如HDFS默认9820、YARN默认8088）。

2. Hadoop安装与基础配置

   • 下载Hadoop安装包（推荐官网稳定版），解压至指定目录（如/usr/local/hadoop）。
   • 配置环境变量：在~/.bashrc或/etc/profile中添加HADOOP_HOME、PATH等，并执行source使生效。

3. 核心配置文件修改

   • core-site.xml：设置fs.defaultFS（HDFS URI，如hdfs://namenode:9820）、临时目录hadoop.tmp.dir。
   • hdfs-site.xml：配置副本数dfs.replication、NameNode和DataNode数据存储路径。
   • yarn-site.xml：指定ResourceManager主机名、NodeManager辅助服务（如mapreduce_shuffle）。
   • mapred-site.xml：设置mapreduce.framework.name为yarn。

4. 集群通信配置

   • 配置SSH免密登录：主节点生成密钥对，将公钥复制到所有从节点authorized_keys。
   • 若为集群模式，需在slaves文件中列出所有DataNode节点主机名。

5. 启动与验证

   • 格式化NameNode：hdfs namenode -format（仅首次启动需执行）。
   • 启动服务：start-dfs.sh（HDFS）、start-yarn.sh（YARN）。
   • 验证：通过jps查看进程，或访问Web界面（HDFS：http://namenode:9870，YARN：http://resourcemanager:8088）。

注意：生产环境需根据节点角色（NameNode/ResourceManager、DataNode/NodeManager）调整配置文件，并确保网络连通性。