HDFS在CentOS上的安装步骤是什么

在CentOS上安装HDFS的步骤如下：

准备工作

1. 设置root账户密码：

   passwd root
   

2. 安装JDK：
   • 下载JDK 1.8（例如：jdk-8u161-linux-x64.tar.gz）。
   • 解压并配置环境变量：

     tar zxvf jdk-8u161-linux-x64.tar.gz -C /usr/local/
     vi /etc/profile
     export JAVA_HOME=/usr/local/jdk1.8.0_161
     export PATH=$PATH:$JAVA_HOME/bin
     source /etc/profile
     

3. 配置网络：
   • 编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，设置静态IP地址、网关和DNS。
   • 例如：

     DEVICE=eth0
     ONBOOT=yes
     BOOTPROTO=static
     IPADDR=192.168.1.100
     NETMASK=255.255.255.0
     GATEWAY=192.168.1.1
     DNS1=8.8.8.8
     DNS2=8.8.4.4
     

4. 配置SSH免密登录：
   • 生成SSH密钥：

     ssh-keygen -t rsa
     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     chmod 600 ~/.ssh/authorized_keys
     ssh-copy-id root@192.168.1.100
     ssh-copy-id root@192.168.1.101
     ssh-copy-id root@192.168.1.102
     

安装Hadoop

1. 下载Hadoop：
   • 使用国内镜像下载Hadoop 2.7.3（例如）：

     wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
     

2. 解压Hadoop：

   tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/hadoop --strip-components=15
   

3. 配置Hadoop环境变量：
   • 编辑/etc/profile文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop
     export HADOOP_COMMON_HOME=$HADOOP_HOME
     export HADOOP_HDFS_HOME=$HADOOP_HOME
     export HADOOP_MAPRED_HOME=$HADOOP_HOME
     export HADOOP_YARN_HOME=$HADOOP_HOME
     export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
     export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
     source /etc/profile
     

配置Hadoop配置文件

1. 配置core-site.xml：
   • 编辑/usr/local/hadoop/etc/hadoop/core-site.xml文件，添加以下内容：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://192.168.1.100:9000</value>
         </property>
     </configuration>
     

2. 配置hdfs-site.xml：
   • 编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，添加以下内容：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>2</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

3. 配置mapred-site.xml（可选）：
   • 编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，添加以下内容：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

4. 配置yarn-site.xml（可选）：
   • 编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，添加以下内容：

     <configuration>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>192.168.1.100</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>
     

格式化NameNode并启动HDFS

1. 格式化NameNode：

   hdfs namenode -format
   

2. 启动HDFS：

   sbin/start-dfs.sh
   

3. 验证HDFS状态：

   jps
   

   你应该能看到NameNode、DataNode和Secondary NameNode进程在运行。

验证安装

1. 访问HDFS Web界面：
   • 打开浏览器，访问http://192.168.1.100:50070，登录后查看HDFS状态。

以上步骤涵盖了在CentOS上安装和配置HDFS的基本流程。请根据具体需求和环境进行调整。