HDFS集群在Ubuntu上如何搭建

以下是在Ubuntu上搭建HDFS集群的步骤：

1. 安装Java：使用命令sudo apt update和sudo apt install openjdk-11-jdk安装JDK，安装后通过java -version验证。
2. 下载并解压Hadoop：从Apache官网下载Hadoop压缩包，如wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz，然后解压到指定目录，如/usr/local/hadoop。
3. 配置环境变量：编辑~/.bashrc文件，添加export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64、export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，最后执行source ~/.bashrc使配置生效。
4. 配置HDFS：在/usr/local/hadoop/etc/hadoop目录下，编辑core-site.xml，设置fs.defaultFS为hdfs://localhost:9000；编辑hdfs-site.xml，设置dfs.replication、dfs.namenode.name.dir和dfs.datanode.data.dir等属性。
5. 创建HDFS目录：使用sudo mkdir -p /path/to/hadoop/hdfs/namenode和sudo mkdir -p /path/to/hadoop/hdfs/datanode创建目录，并通过sudo chown -R hdfs:hdfs /path/to/hadoop/hdfs设置权限。
6. 格式化NameNode：在终端执行hdfs namenode -format。
7. 启动HDFS：使用start-dfs.sh启动HDFS集群。

若要配置高可用性，还需进行额外的配置，如设置JournalNode、配置hdfs-site.xml和core-site.xml中的相关参数等。