Ubuntu与Hadoop兼容性问题

Ubuntu与Hadoop的兼容性非常好。Ubuntu是一个广泛使用的Linux发行版，拥有庞大的用户社区和丰富的文档资源，这使得在Ubuntu上安装和配置Hadoop变得更加容易。以下是关于在Ubuntu上安装Hadoop的详细步骤：

安装前准备

在安装Hadoop之前，需要确保系统满足以下要求：

• 操作系统：建议使用Ubuntu 16.04或更高版本。
• Java环境：Hadoop依赖于Java环境，确保您的系统中已安装Java 8或更高版本。
• SSH：用于远程登录和管理服务器，确保SSH服务已开启。

安装步骤

1. 安装Java：

sudo apt update
sudo apt install openjdk-8-jdk

2. 配置SSH：

sudo apt install openssh-server
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 下载并解压Hadoop：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/
sudo mv /opt/hadoop-3.3.4 /opt/hadoop

4. 配置环境变量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

5. 配置Hadoop配置文件：

• hadoop-env.sh：

sudo nano /opt/hadoop/etc/hadoop/hadoop-env.sh
# 设置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

• mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

6. 格式化HDFS：

sudo -u hadoop hadoop namenode -format

7. 启动Hadoop：

sudo -u hadoop sbin/start-dfs.sh
sudo -u hadoop sbin/start-yarn.sh

8. 验证安装：

• 查看HDFS Web界面：http://localhost:50070
• 查看YARN Web界面：http://localhost:8088