如何在Ubuntu上部署Hadoop应用

以下是在Ubuntu上部署Hadoop应用的一般步骤：

环境准备

• 安装Java：Hadoop依赖Java，使用sudo apt update和sudo apt install openjdk-8-jdk安装OpenJDK 8，然后通过vim ~/.bashrc添加JAVA_HOME环境变量并使配置生效。
• 安装SSH：使用sudo apt install openssh-server安装SSH服务端，生成密钥对并配置免密登录，以便Hadoop节点间通信。

下载与安装Hadoop

从Hadoop官网下载二进制文件，用tar -xzf命令解压到指定目录，如/usr/local/hadoop，并设置环境变量HADOOP_HOME和PATH。

配置Hadoop

主要配置core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等文件，设置文件系统默认地址、副本数、资源管理等参数。

启动Hadoop

在/usr/local/hadoop/sbin目录下，使用./start-dfs.sh和./start-yarn.sh启动HDFS和YARN服务，可通过jps命令查看进程，使用浏览器访问http://localhost:9870查看Hadoop信息。