在CentOS上安装Hadoop的步骤如下:
准备工作:
下载并解压Hadoop:
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop
配置环境变量:
/etc/profile
文件,添加以下内容:export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
配置Hadoop主要配置文件:
/usr/local/hadoop/etc/hadoop/core-site.xml
,配置HDFS的默认URI:<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
/usr/local/hadoop/etc/hadoop/hdfs-site.xml
,配置HDFS的存储目录和副本数:<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/datanode</value>
</property>
</configuration>
启动Hadoop服务:
hdfs namenode -format
start-dfs.sh
start-yarn.sh
验证安装:
jps
这些步骤涵盖了在CentOS上安装和配置Hadoop的基本流程,确保系统能够正常运行并处理数据。