如何在 Ubuntu 上搭建 Hadoop 测试环境

以下是在Ubuntu上搭建Hadoop测试环境（以伪分布式为例）的步骤：

1. 创建用户：用sudo adduser hadoop创建新用户，然后sudo usermod -aG sudo hadoop将其加入sudo组。
2. 安装依赖：更新系统sudo apt update && sudo apt upgrade -y，安装Javasudo apt install default-jdk -y，安装SSHsudo apt install openssh-server。
3. 下载安装Hadoop：从官网下载，如wget https://hadoop.apache.org/release/3.3.6.html，然后tar -xzvf hadoop-3.3.6.tar.gz，移动到/usr/local并重命名sudo mv hadoop-3.3.6 /usr/local/hadoop。
4. 配置环境变量：编辑~/.bashrc，添加export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后source ~/.bashrc。
5. 配置Hadoop文件：进入$HADOOP_HOME/etc/hadoop，配置core-site.xml，设置fs.defaultFS为hdfs://localhost:9000等；配置hdfs-site.xml，设置dfs.replication为1等。
6. 初始化HDFS并启动服务：运行hdfs namenode -format格式化HDFS，然后start-dfs.sh和start-yarn.sh启动服务。
7. 验证安装：通过jps查看进程，有NameNode、DataNode等进程表示启动成功，也可在浏览器访问http://localhost:9870查看HDFS状态。