zookeeper集群搭建以及hadoop集群部署方法介绍

这篇文章主要讲解了“zookeeper集群搭建以及hadoop集群部署方法介绍”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“zookeeper集群搭建以及hadoop集群部署方法介绍”吧！

1：首先，在VM上安装6台64位的虚拟机主要是遇到了安装包的问题以及环境部署的问题。

   以下是自己安装使用的ISO文件下载地址：

   http://mirrors.sohu.com/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso

   其实我是之前就把这个页面的所有安装包都下载下来的，一个个试着去安装，然后最终选定了无桌面版的，可以再安装的时候选择设置，这个过程就是有点耗时间。接下来我分别在每个主机上部署了jdk，maven，git，mysql，openssh-clients,还有把相关的项目部署上去，之歌过程也有点耗时间，接下来我想尝试写个ssh脚本自动化安装测试一下。

   配置环境变量之后，就开始搭建zookeeper集群了，这个集群主要是配合阿里的开源项目dubbo(git下载：https://github.com/alibaba/dubbo)使用，我是使用5台虚拟机器部署zookeeper集群作为dubbo的注册中心，这个过程也是比较简单的，因为关于zookeeper集群的部署以前dubbo的部署网上资料一大把，当然由于在部署zookeeper集群的时候没有采用脚本部署方式，这个过程也是比较耗时间的，接下来会尝试脚本部署方式，部署完之后跑了dubbo的demo以前dubbo-admin查看了一下还是OK的，当然由于条件有限没有继续深入下去。

2：hadoop的编译，这个编译比较繁琐，自己也是走一步再修改一下，整理了一下，之后发现原来网上有一篇文章记载的步骤跟错误跟我在操作的时候没多大的差异，大概就是以下步骤

首先需要安装的是：

• maven:maven有版本冲突的问题，确实是这样的，我机子上面安装的都是最新的版本，但是都会报错，之后我下载了3.0.5这个版本之后那个错误九消失了。wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz

• yum install gcc-c++

• wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download

     findbugs需要配置环境变量

• wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

• wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

• yum install pkgconfig

• yum install openssl

• yum install openssl-devel

• vi hadoop-common-project/hadoop-auth/pom.xml(增加有加号的)

  </dependency>
      <dependency>
        <groupId>org.mortbay.jetty</groupId>
  +      <artifactId>jetty-util</artifactId>
  +      <scope>test</scope>
  +    </dependency>
  +    <dependency>
  +      <groupId>org.mortbay.jetty</groupId>
        <artifactId>jetty</artifactId>
        <scope>test</scope>
      </dependency>

• 最后就是执行命令：mvn package -DskipTests -Pdist,native -Dtar

  执行以上步骤后，接下来就是漫长的等待了，反正我是至少等待了30分钟，不过还好最终编译成功了，接下来的事情就是重复使用scp命令传输文件了，关于hadoop+zookeeper集群的搭建网上也有一大堆。

感谢各位的阅读，以上就是“zookeeper集群搭建以及hadoop集群部署方法介绍”的内容了，经过本文的学习后，相信大家对zookeeper集群搭建以及hadoop集群部署方法介绍这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！