hadoop2.5.2的安装过程

本篇内容介绍了“hadoop2.5.2的安装过程”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

 安装之前，想好自己的安装顺序，我的安装顺序

        1 确定安装集群的数量和namenode,datanode分配，然后修改对应的osts配置文件

        2 让集群之间实现ssh无密码登陆（hadoop集群中，namenode节点需要能够ssh无密码访问datanode节点）

        3 配置详细环境，主要为jdk包和hadoop包

 本章主要介绍安装过程，详细的配置文档请点击 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 将集群中的机器添加到hosts中

2 实现SSH无密码验证配置
          注：1 hadoop 集群中，nameNode节点，需要能够ssh 无密码访问dataNode节点
                 2 多台机器需要重复操作 2),3) ,4)过程
      1）首先 nameNode节点生成公钥
              输入： ssh-keygen -t rsa 
                生成过程中有三次要求回车（基本全部回车不用设置）
                        1 采用默认文件保存钥匙
                        2 键入密码短语，如果建立至少5个字符
                        3 重复密码短语
      2）将生成的密钥拷贝到daataNode节点中（如果是非root用户，就是/home下该用户的主目录）
               输入： cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中间要求输入对应机器的密码，输入就行
   3）检查datanode机器authorized_keys的权限，确保为644（-rw-r--r--），如果不是，则修改权限，命令如下 chmod 644 authorized_keys
4）测试 ssh 192.168.1.101

 3 安装Jdk
   1） 这是格式为.bin的jdk
       jdk-6u45-linux-i586.bin复制到/usr/java文件夹下,在/usr/java文件夹下执行./jdk-6u45-linux-i586.bin
   2） 常见安装包为 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打开/etc/profile，在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以执行source profile（在/etc/文件夹下）快速生效
     输入java -version测试

 4 安装hadoop
          hadoop-2.5.2
    同jdk安装，将下载好的hadoop压缩包解压
               例：tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同样在环境变量文件中添加对应的环境变量
      打开/etc/profile，在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   执行source profile（在/etc/文件夹下）快速生效

 5 配置hadoop需要的配置文件

        详情请看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令将hadoop文件夹拷贝到所有的节点机器相同路径上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 为文件夹里面所有文件  root为复制电脑的用户名，后面接的为IP请见上面hosts配置文件，后面跟的是复制到的路径

 6 要确认防火墙的配置，或者直接关闭

       /etc/init.d/iptables status 本次关闭为  /etc/init.d/iptables stop 其他请百度

 7 启动测试

      先格式化 namenode  方法为: ./bin/hadoop namenode -format

      如果格式化因为其他问题报错，或者不是第一次格式化 请将core-site.xml 配置文件中hadoop.tmp.dir tmp文件夹删除。

    如果输出出现（基本倒数几行里面） ： /hadoop-2.5.2/hdfs/name has been successfully formatted  说明成功，报错就需要自己百度google查找问题

 8 然后将hdfs yarn启动

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 启动成功后 可进行浏览器访问

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都没有问题就说明hadoop和jdk安装成功。。然后开搞吧

“hadoop2.5.2的安装过程”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！