如何在Debian上部署Hadoop集群

在Debian上部署Hadoop集群可参考以下步骤：

1. 安装Java：使用sudo apt update和sudo apt install openjdk-8-jdk命令安装OpenJDK 8。
2. 配置SSH免密登录：在每个节点上执行ssh-keygen -t rsa生成密钥，再用cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys将公钥添加到授权列表，最后通过ssh-copy-id命令将公钥复制到其他节点。
3. 下载并安装Hadoop：从官网下载Hadoop，如wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz，然后解压到指定目录，如/opt/hadoop。
4. 配置环境变量：编辑~/.bashrc文件，添加export HADOOP_HOME=/opt/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，并执行source ~/.bashrc使配置生效。
5. 配置Hadoop文件：在/opt/hadoop/etc/hadoop目录下，编辑core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等文件，设置相关参数，如fs.defaultFS、dfs.replication等。
6. 配置hosts文件：编辑/etc/hosts文件，添加所有节点的IP地址和主机名。
7. 格式化NameNode：在NameNode节点上执行hdfs namenode -format命令。
8. 启动Hadoop集群：在NameNode上执行start-dfs.sh和start-yarn.sh脚本，启动HDFS和YARN服务。