如何配置 Ubuntu Hadoop 环境 - 问答

配置 Ubuntu Hadoop 环境是一个复杂的过程，涉及多个步骤。以下是一个详细的指南，帮助你完成这个过程。

1. 环境基础配置

修改 hosts 文件：

sudo vim /etc/hosts

添加如下内容：

192.168.2.40 hadoop102
192.168.2.143 hadoop103
192.168.2.68 hadoop104

修改 hostname：

sudo vim /etc/hostname

依次配置服务器 hostname 为 hadoop102、hadoop103、hadoop104。

SSH 免密登录：

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

集群多台主机的话需要打通 ssh 无密码登录，将 CM 管理主机的公钥拷贝到各主机的 /root/.ssh/authorized_keys 文件中。

关闭防火墙：

sudo ufw status
sudo ufw disable

关闭 SELinux：

sudo setenforce 0

或修改配置文件 /etc/selinux/config：

SELINUX=disabled

配置 NTP 时钟同步：

sudo apt-get install ntp
sudo vim /etc/ntp.conf

注释掉所有的 restrict 开头的配置，修改如下内容：

restrict 192.168.2.40 mask 255.255.255.0 nomodify notrap

添加下面两行内容：

server 127.127.1.0
fudge 127.127.1.0 stratum 10

启动 NTP 服务：

sudo service ntp start
sudo chkconfig ntpd on

禁用透明大页（THP）：

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

2. 安装 JDK

sudo apt-get update
sudo apt-get install openjdk-8-jdk -y
java -version

配置 Java 环境变量，使用 vim 打开配置文件 /root/.bashrc：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

让环境变量生效：

source /root/.bashrc

3. 安装和配置 Hadoop

下载并解压 Hadoop：

wget https://hadoop.apache.org/release/3.3.6.html
tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local
sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

配置 Hadoop 环境变量：

打开 /root/.bashrc 文件，添加如下行：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让环境变量生效：

source /root/.bashrc

配置 Hadoop 集群：

进入 Hadoop 配置文件目录：

cd /usr/local/hadoop/etc/hadoop

修改 core-site.xml 文件：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改 hdfs-site.xml 文件：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/datanode</value>
    </property>
</configuration>

修改 mapred-site.xml 文件：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改 yarn-site.xml 文件：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

启动 Hadoop 集群：

初始化 HDFS：

hdfs namenode -format

启动 Hadoop 集群：

./sbin/start-dfs.sh
./sbin/start-yarn.sh

验证安装：

打开浏览器，输入 http://localhost:50070 查看 HDFS 状态，输入 http://localhost:8088 查看 YARN 资源管理器。

以上步骤可以帮助你在 Ubuntu 上配置 Hadoop 环境。请根据具体需求和环境进行调整。

0 赞

0 踩