Debian Hadoop集群扩容是一个相对复杂的过程,涉及多个步骤。以下是详细的扩容步骤:
关闭防火墙:
systemctl stop firewalld
systemctl disable firewalld
关闭SELinux:
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0
配置主机名和IP映射关系:
hostnamectl set-hostname hadoop102
hostnamectl set-hostname hadoop103
hostnamectl set-hostname hadoop104
cat >> /etc/hosts << EOF
192.168.52.15 hadoop102
192.168.52.16 hadoop103
192.168.52.17 hadoop104
EOF
配置SSH无密码登录:
ssh-keygen
生成公钥与私钥对。配置时间同步服务:
yum install chrony -y
systemctl restart chronyd
chronyc sources -v
安装JDK:
下载Hadoop安装包:
wget http://archive.apache.org/dist/hadoop/common/1.2/hadoop-3.1.2.tar.gz
解压Hadoop安装包:
tar -xzf hadoop-3.1.2.tar.gz -C /opt
修改Hadoop环境变量:
hadoop.sh
文件。格式化新盘:
mkfs -t ext4 /dev/sdb
挂载新盘:
vi
或者 emcas
查看Hadoop集群的 {hadoop-home}/conf/hdfs-site.xml
文件,其中的 dfs.data.dir
属性所设定的目录。修改 /etc/fstab
文件:
/dev/device1 /dm1/hdfs/Data ext3 defaults 1 2 5
验证扩容:
{hadoop-home}/bin/hadoop
使用 dfs -report
命令查看新增的DFS容量。请注意,以上步骤是基于搜索结果的概述,具体操作可能需要根据实际情况进行调整。在进行任何操作之前,请确保备份所有重要数据,并在测试环境中验证步骤的正确性。