在Ubuntu下安装HDFS的步骤如下:
sudo apt install net-tools vim
sudo ufw disable
hostnamectl set-hostname master
/etc/hosts
文件,确保主机名与IP地址对应。/usr/local/java
。/etc/profile
文件,添加以下内容:export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
source /etc/profile
java -version
。下载Hadoop
从Apache官方网站下载Hadoop安装包,例如:
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz
解压Hadoop安装包
tar -xzf hadoop-2.7.6.tar.gz -C /usr/local/
cd /usr/local/hadoop-2.7.6/etc/hadoop/
配置环境变量
编辑 hadoop-env.sh
文件,添加JDK路径:
export JAVA_HOME=/usr/local/java
编辑 start-dfs.sh
和 stop-dfs.sh
文件,添加HDFS的root执行权限:
hdfs_datanode_user=roothdfs_namenode_user=roothdfs_secondarynamenode_user=root
编辑 start-yarn.sh
和 stop-yarn.sh
文件,添加YARN的root执行权限:
yarn_resourcemanager_user=rothyarn_nodemanager_user=root
配置配置文件
编辑 core-site.xml
文件:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/hadoop/hdfs/tmp</value>
</property>
<property>
<name>fs.defaultfs</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
编辑 hdfs-site.xml
文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadoop/hdfs/data</value>
</property>
</configuration>
复制 mapred-site.xml.template
为 mapred-site.xml
,并编辑:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
启动HDFS
格式化NameNode:
bin/hdfs namenode -format
启动HDFS:
sbin/start-dfs.sh
验证安装
启动后,可以通过Web界面访问NameNode:
http://<server-ip>:50070
请注意,以上步骤是基于Hadoop 2.7.6版本的指导,不同版本的Hadoop可能会有细微的配置差异。建议参考官方文档进行详细配置。