您好,登录后才能下订单哦!
这篇文章给大家介绍Hadoop中怎么启动Hadoop方法,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
Hadoop配置与启动Hadoop
Hadoop三种模式:
StandaloneOperation:只有一个Java虚拟机在跑,完全没有分布式的成分。
Pseudo-DistributedOperation:在同一台机器上启动独立数个JVM进程,进行“分布式”操作。
Fully-DistributedOperation:真正的可以运行于多台机器上的分布式模式。(我们按这种方式进行配置)
环境:
***台:win7+cygwin
第二台:虚拟机CentOS.5.3
实现目标:
cygwin作为master,部署上NameNode+JobTracker,IP:192.168.220.1
CentOS作为slaver,部署上DataNode+TaskTracker,IP:192.168.14.128
Hadoop配置准备工作:
1.免密码SSH登录,cygwin=》CentOS,见:http://efeil.blog.163.com/blog/static/1189022972010210544494/
2.两个系统Hosts配置相同,为:192.168.220.1hadoop-master
192.168.14.128hadoophadoop-slave01
3.Hadoop配置中conf/core-site.xml配置
<configuration>
<!---globalproperties-->
<property>
<name>hadoop.tmp.dir</name>
<!--这是Cygwin下配置,CentOS下为/tmp/hdfs-gaoyanfei-->
<value>e:/tmp/hdfs-gaoyanfei</value>
<description>Abaseforothertemporarydirectories.</description>
</property>
<!--filesystemproperties-->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
4.Hadoop配置中conf/hdfs-site.xml配置:
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5.Hadoop配置中conf/mapred-site.xml配置:
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>
6.masters配置内容:hadoop-master
7.slaves配置内容:hadoop-slave01
8.在Cygwin下启动:
1.bin/hadoopnamenode-format
2.bin/start-all.sh。本节关于Hadoop配置与启动Hadoop介绍到这里
关于Hadoop中怎么启动Hadoop方法就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。