您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
========一.hadoop伪分布式========= <code> 伪分布式环境配置 需要安装openjdk 和openjdk-devel软件包(用的是1.8.0版本) rpm -ql Java-openjdk-devel-1.8.0 | grep ‘/bin/javac’ vim /etc/profile #Java export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64 CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin #hive export HIVE_HOME=/data/hadoop/hive export PATH=$HIVE_HOME/bin:$PATH #hadoop export HADOOP_HOME=/data/hadoop/hadoop-2.7.4 export PATH=$HADOOP_HOME/bin:$PATH source /etc/profile java -version 添加hadoop 用户 useradd -m hadoop -s /bin/bash 给予sudo权限 visudo 编辑配置文件的98行,在root这行下添加hadoop用户 root ALL=(ALL) ALL hadoop ALL=(ALL) ALL 切换到hadoop 用户 然后设置远程登录 生成密钥对 ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys chmod 600 ./authorized_keys(注意权限设置) </code> =========二.安装hadoop========= <code> wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gz tar xf hadoop-2.7.4.tar.gz -C /data/hadoop chown -R hadoop.hadoop /data/hadoop/hadoop-2.7.4 </code> ==========三.配置文件============= <code> /data/hadoop/hadoop-2.7.4/etc/hadoop/ 路径下 hdfs-site.xml core-site.xml mapred-site.xml.template hdfs-site.xml:这里面定义的是数据节点个数以块文件大小 core-site.xml:定义的hadoop的header机 mapred-site.xml.template:定义的是hadoop文件存放的调度方式 针对伪分布式三个配置文件如下(默认为空) core-site.xml配置文件如下: <property> <name>hadoop.tmp.dir</name> <value>file:/data/hadoop/hadoop-2.7.4/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> hdfs-site.xml配置文件如下: <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/data/hadoop/hadoop-2.7.4/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/data/hadoop/hadoop-2.7.4/tmp/dfs/data</value> </property> mapred-site.xml.template配置文件如下: <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> cd /data/hadoop/hadoop-2.7.4/ 执行./bin/hdfs namenode -format 进行格式化 ./sbin/start-dfs.sh 启动完成后,可以通过命令 jps 来判断是否成功启动 若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode vim ~/.bashrc 添加 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64 source ~/.bashrc 后重新启动 搭建完成 访问:http://192.168.0.12:50070 </code>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。