Hadoop在Debian上的配置技巧

以下是一些Hadoop在Debian上的配置技巧：

1. 环境准备：安装OpenJDK 8或更高版本，创建Hadoop用户并设置权限，配置SSH无密码登录。
2. 安装Hadoop：下载Hadoop压缩包，解压到指定目录，如/usr/local/hadoop。
3. 配置环境变量：编辑/etc/profile或~/.bashrc文件，添加HADOOP_HOME和PATH变量，使配置生效。
4. 配置核心文件：
   • core-site.xml：设置fs.defaultFS为hdfs://namenode:9000，指定临时目录hadoop.tmp.dir。
   • hdfs-site.xml：配置副本数dfs.replication，指定NameNode和DataNode的存储目录。
   • mapred-site.xml：设置mapreduce.framework.name为yarn。
   • yarn-site.xml：配置ResourceManager主机名，设置yarn.nodemanager.aux - services为mapreduce_shuffle等。
5. 其他配置：配置slaves文件列出DataNode和NodeManager节点，编辑hadoop - env.sh设置JAVA_HOME等环境变量。