在CentOS上配置Hadoop分布式文件系统(HDFS)是一个涉及多个步骤的过程,以下是详细的准备工作:
sudo yum install -y java-1.8.0-openjdk-devel
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
/etc/hosts
文件,增加节点IP和主机名的映射。sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo useradd hadoop
sudo passwd hadoop
ssh-keygen -t rsa
~/.ssh/authorized_keys
文件中。ssh hadoop@node2
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
/etc/profile.d/hadoop.sh
文件,添加以下内容:export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置生效:source /etc/profile.d/hadoop.sh
hadoop-env.sh
:设置Java路径和其他环境变量。export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
core-site.xml
:配置HDFS的默认文件系统和临时目录。<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
</property>
</configuration>
hdfs-site.xml
:配置HDFS的存储目录和副本数。<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/data/datanode</value>
</property>
</configuration>
mapred-site.xml
和 yarn-site.xml
(如果需要):配置MapReduce和YARN的相关属性。<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
在NameNode节点上执行以下命令格式化文件系统:
hdfs namenode -format
在NameNode节点上启动HDFS:
start-dfs.sh
使用以下命令检查HDFS状态:
hdfs dfsadmin -report
或者使用 jps
命令查看进程,确认NameNode和DataNode是否启动。
如果你有多个节点,需要在所有节点上进行类似的配置,并确保它们在 /etc/hosts
文件中正确配置了彼此的IP地址和主机名。
以上步骤是在CentOS系统上配置HDFS的基本流程,根据实际需求,可能还需要进行更多的配置和优化。建议参考Hadoop官方文档进行详细配置。