Ubuntu Hadoop集群搭建步骤解析 - 问答

搭建Ubuntu Hadoop集群是一个相对复杂的过程，涉及多个步骤。以下是一个基本的指南，帮助你开始这个过程：

环境准备

硬件要求：确保每台机器满足Hadoop的最低配置要求，例如双核CPU、8GB内存、100GB硬盘。
网络配置：所有机器需要在同一网络中，并且能够相互通信。
SSH无密码登录：在所有机器之间配置SSH无密码登录，以便于管理和部署。

安装Java

Hadoop需要Java运行环境，通常使用OpenJDK。

sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version

配置Java环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

安装Hadoop

下载并解压Hadoop安装包：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
sudo tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-2.7.2 /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

配置Hadoop

编辑Hadoop配置文件：

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
    </property>
</configuration>

mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
</configuration>

配置SSH无密码登录

在所有机器上生成SSH密钥对，并将公钥复制到其他机器的~/.ssh/authorized_keys文件中。

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys user@slave_machine:/~/.ssh/

启动Hadoop集群

在主节点上启动HDFS和YARN：

cd /usr/local/hadoop/sbin
./start-dfs.sh
./start-yarn.sh

验证集群状态

在主节点上运行jps命令，检查NameNode、DataNode、ResourceManager和NodeManager等进程是否正常启动。

jps

访问HDFS Web UI：http://:9870。

访问YARN Web UI：http://:8088。

0 赞

0 踩