在Linux中搭建Hadoop集群是一个相对复杂的过程,需要多个步骤和配置。以下是一个基本的搭建指南,假设你使用的是CentOS 7作为操作系统。
Hadoop是基于Java开发的,因此需要在所有节点上安装Java环境。
sudo yum install -y java-1.8.0-openjdk-devel
验证Java安装:
java -version
从Hadoop官方网站下载最新版本的Hadoop安装包,并解压到所有节点中。
wget https://downloads.apache.org/hadoop/core/hadoop-3.2.12/hadoop-3.2.12.tar.gz
tar -xzf hadoop-3.2.12.tar.gz -C /usr/local/
编辑/etc/profile
文件,添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
使配置生效:
source /etc/profile
主要配置文件包括core-site.xml
、hdfs-site.xml
、mapred-site.xml
和yarn-site.xml
。以下是一个示例配置:
core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/namenode</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>resourcemanager</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
在所有节点上设置SSH免密码登录,以便Hadoop集群节点之间可以互相通信。
在Master节点上生成密钥:
ssh-keygen -t rsa
将公钥复制到Slave节点:
ssh-copy-id user@slave_node_ip
在Master节点上格式化HDFS文件系统:
hdfs namenode -format
分别在Master节点和Slave节点上启动Hadoop集群的各个组件:
start-dfs.sh
start-yarn.sh
使用Hadoop自带的命令行工具检查集群的状态:
hdfs dfsadmin -report
访问Hadoop Web界面,通常是http://namenode_ip:50070
。
可以使用Ambari等工具来监控和管理Hadoop集群。
安装Ambari:
wget https://downloads.apache.org/ambari/ambari/2.7.3/packages/apache-ambari-2.7.3.0-bin.tar.gz
tar -xzf apache-ambari-2.7.3.0-bin.tar.gz
cd apache-ambari-2.7.3.0
./bin/ambari-server setup
./bin/ambari-server start
访问Ambari Web界面,通常是http://namenode_ip:8080
。
通过以上步骤,你可以成功在Linux上搭建一个基本的Hadoop集群。根据具体需求,你可能还需要进行更多的配置和优化。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
相关推荐:Linux中Hadoop集群如何搭建