在CentOS上部署HDFS(Hadoop分布式文件系统)是一个相对复杂的过程,涉及多个步骤。以下是一个基本的部署流程,假设你要配置一个单机版的HDFS集群。对于完全分布式集群,流程会更为复杂,需要额外配置ZooKeeper、Secondary NameNode等。
yum install java-1.8.0-openjdk-devel -y
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id localhost
从Apache Hadoop官网下载对应版本的Hadoop安装包,并解压到指定目录。
wget https://downloads.apache.org/hadoop/core/hadoop-3.2.4/hadoop-3.2.4.tar.gz
tar -zxvf hadoop-3.2.4.tar.gz -C /opt/
编辑 /etc/profile
文件,添加Hadoop的路径和库路径。
echo "export HADOOP_HOME=/opt/hadoop-3.2.4" >> /etc/profile
echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> /etc/profile
source /etc/profile
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
在NameNode节点上执行 hdfs namenode -format
命令,初始化文件系统。
hdfs namenode -format
在NameNode节点上执行 start-dfs.sh
脚本启动HDFS集群。
/opt/hadoop-3.2.4/sbin/start-dfs.sh
使用 jps
命令检查进程,确保NameNode和DataNode正在运行。
jps
通过Web界面(通常是 http://namenode-host:port
)访问HDFS的管理页面,验证安装是否成功。
对于生产环境,建议配置高可用性特性,如JournalNode和ZooKeeper集群。
dfs.nameservices
、dfs.ha.namenodes
等。请注意,以上步骤是一个基本的指南,具体的配置可能会根据你的集群规模和需求有所不同。在实际操作中,还需要考虑防火墙设置、SELinux配置、网络策略等因素。建议参考官方文档或相关的技术指南进行详细配置。