hadoop分布式安装步骤

发布时间:2021-08-05 22:21:17 作者:chen
来源:亿速云 阅读:106

这篇文章主要介绍“hadoop分布式安装步骤”,在日常操作中,相信很多人在hadoop分布式安装步骤问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”hadoop分布式安装步骤”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

1、防火墙;

    1) 重启后生效 
    开启: chkconfig iptables on 
    关闭: chkconfig iptables off 

    2) 即时生效,重启后失效 
    开启: service iptables start 
    关闭: service iptables stop 

    3)查看防火墙状态:service iptables status

 2、HDFS 启动

       sbin/hadoop-daemon.sh start/stop namenode

        sbin/hadoop-daemon.sh start/stop secondarynamenode

        sbin/hadoop-daemon.sh start/stop datanode

       需要在sbin目录下操作

hadoop分布式安装步骤

yarn jar /opt/cloud/hadoop-2.6.0-cdh6.4.2/ws/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh6.4.2.jar  wordcount /wordcount  /output

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

       ./yarn-daemon.sh stop nodemanager

       ./yarn-daeon.sh stop resourcemanager

       如何克隆虚拟机:http://www.centoscn.com/CentOS/2015/0208/4656.html

       CentOS Linux 克隆完后,连接问题   http://my.oschina.net/u/2356966/blog/469248

一定要保证,集群中的所有节点的配置都是一样的,

因此,我是在同一个节点上配置,然后同步到其他的机器上。

             临时修改用户名:hostname  新名

             永久性修改:vim /etc/sysconfig/network

ssh这是个命令,可以放到shell脚本,那么这样就能够实现自动化的连接到其他的机器,同时,执行相应的命令。          

设置步骤

        生成自己的公私钥对:ssh-keygen -t rsa

        将自己的公钥复制到对方的机器下,并授权;ssh-copy-id root@master

        别忘了给自己也设置下

        使用ssh直接登录,不需要添写密码

ssh-keygen -t rsa  生成一次

ssh-copy-id root@master   多次授权给不同的机器

 

同步;

scp -r hadoop-2.6.0-cdh6.4.2/  root@slave01:/opt/cloud/

scp -r jdk1.7.0_45/  root@slave01:/opt/cloud/

scp -r /etc/profile root@slave01:/etc/profile

master节点格式化:hdfs namenode -format

datanode节点启动,需要删除dfs中的dn文件

到此,关于“hadoop分布式安装步骤”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. hadoop入门学习教程--DKHadoop完整安装步骤
  2. Hadoop完全分布式部署

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:asp.net怎么实现Gradview绑定数据库数据并导出Excel

下一篇:如何解决某些HTML字符打不出来的问题

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》