centos里hdfs如何部署

在CentOS中部署Hadoop分布式文件系统（HDFS）是一个相对复杂的过程，需要多个步骤。以下是一个基本的指南，帮助你在CentOS 7上部署HDFS。请注意，这个指南假设你已经有一个基本的Linux系统，并且具备一定的技术背景。

1. 环境准备

安装Java

HDFS需要Java运行环境，首先确保你已经安装了Java 8。

sudo yum install java-1.8.0-openjdk-devel

验证Java安装：

java -version

安装SSH

确保SSH服务已经安装并配置好免密登录。

sudo yum install openssh-server
sudo systemctl start sshd
sudo systemctl enable sshd
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

2. 下载并解压Hadoop

你可以从Apache Hadoop官网下载所需版本的Hadoop。以下是一个示例，使用Hadoop 3.2.0版本。

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.2.0/hadoop-3.2.0.tar.gz
tar -xzf hadoop-3.2.0.tar.gz -C /usr/local/hadoop
cd /usr/local/hadoop

3. 配置环境变量

编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin

使配置生效：

source /etc/profile

4. 配置Hadoop

修改hadoop-env.sh

编辑hadoop-env.sh文件，设置JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

修改core-site.xml

编辑core-site.xml文件，配置HDFS的默认地址：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

修改hdfs-site.xml

编辑hdfs-site.xml文件，配置HDFS的副本数和其他属性：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/tmp/hadoop/namenode</value>
    </property>
</configuration>

修改slaves文件

如果你的集群有多个节点，编辑slaves文件，添加所有节点的主机名。

5. 格式化NameNode

在第一次启动HDFS之前，需要格式化NameNode：

hdfs namenode -format

6. 启动HDFS

启动HDFS服务：

./sbin/start-dfs.sh

7. 验证HDFS

使用以下命令检查HDFS是否启动成功：

jps

你应该能看到NameNode、DataNode和SecondaryNameNode进程。

8. 访问HDFS Web UI

打开浏览器，访问http://localhost:50070，查看HDFS的Web界面，确认一切正常。

注意事项

• 确保所有节点的/etc/hosts文件配置正确。
• 如果使用伪分布式模式，确保所有配置文件（如core-site.xml、hdfs-site.xml等）在所有节点上保持一致。
• 初始化格式化NameNode时，数据会被清空，请谨慎操作。

以上步骤提供了一个基本的HDFS部署流程，具体配置可能会根据实际需求和环境有所不同。建议参考Hadoop官方文档进行详细配置。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>