hadoop如何根据SecondaryNameNode恢复Namenode

发布时间:2021-12-09 15:32:31 作者:小新
来源:亿速云 阅读:230

小编给大家分享一下hadoop如何根据SecondaryNameNode恢复Namenode ,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

制造namenode宕机的情况 
1) kill 掉namenode的进程

  1. [hadoop@hadoop bin]$ kill -9 13481

2)删除dfs.name.dir所指向的文件夹,这里是/home/hadoop/hdfs/name.

current  image  in_use.lock  previous.checkpoint

[hadoop@hadoop name]$ rm -rf *

删除name目录下的所有内容,但是必须保证name这个目录是存在的
3)从secondarynamenode元数据 namesecondary 目录下复制 到namenode name目录下

我的secodarynamenode 元数据目录

/home/hadoop/tmp/dfs/namesecondary

复制过程

[hadoop@hadoop name]$ cp -R /home/hadoop/tmp/dfs/namesecondary/* .

4)启动namenode

[hadoop@hadoop bin]$ ./hadoop-daemon.sh start namenode

5)检查
使用hadoop fsck /user命令检查文件Block的完整性

<font size="2">[hadoop@hadoop bin]$ hadoop fsck /</font>
Warning: $HADOOP_HOME is deprecated.

FSCK started by hadoop from /192.168.0.101 for path / at Sun Dec 22 23:04:31 CST 2013
...................................
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0001/job.jar:  Under replicated blk_-8571652065964704775_1020. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0002/job.jar:  Under replicated blk_-5947701456602696019_1021. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0003/job.jar:  Under replicated blk_8214183112681524571_1022. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0001/job.jar:  Under replicated blk_4805420250921446015_1024. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0002/job.jar:  Under replicated blk_7913185784171356584_1027. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0004/job.jar:  Under replicated blk_-8411847042533891069_1035. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0005/job.jar:  Under replicated blk_2163772543235273521_1036. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0007/job.jar:  Under replicated blk_-3491660194168043022_1044. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0002/job.jar:  Under replicated blk_5280511346594851641_1270. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0003/job.jar:  Under replicated blk_5588149584508213931_1271. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0004/job.jar:  Under replicated blk_-1846184614352398688_1272. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0005/job.jar:  Under replicated blk_8253537375261552577_1273. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0001/job.jar:  Under replicated blk_-6858089306760733073_1275. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0002/job.jar:  Under replicated blk_-630176777256891004_1276. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0003/job.jar:  Under replicated blk_3453389521553623867_1277. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0004/job.jar:  Under replicated blk_-4262000880964323956_1278. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0001/job.jar:  Under replicated blk_-5324801167724976561_1280. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0002/job.jar:  Under replicated blk_3284342834321881345_1281. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0004/job.jar:  Under replicated blk_5174401550469241860_1295. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0009/job.jar:  Under replicated blk_6390129220783606015_1327. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0010/job.jar:  Under replicated blk_8995477665353821346_1328. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201311292212_0007/job.jar:  Under replicated blk_-6447241034801532571_1699. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0001/job.jar:  Under replicated blk_-187920261151639503_1741. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0002/job.jar:  Under replicated blk_1912732980088631445_1742. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312092348_0001/job.jar:  Under replicated blk_448639237400606735_1953. Target Replicas is 10 but found 1 replica(s).
.
/home/hadoop/tmp/mapred/system/jobtracker.info: CORRUPT block blk_-4973841422235657473

/home/hadoop/tmp/mapred/system/jobtracker.info: MISSING 1 blocks of total size 4 B.Status: CORRUPT
Total size:        367257 B
Total dirs:        83
Total files:        60
Total blocks (validated):        57 (avg. block size 6443 B)
  ********************************
  CORRUPT FILES:        1
  MISSING BLOCKS:        1
  MISSING SIZE:                4 B
  CORRUPT BLOCKS:         1
  ********************************
Minimally replicated blocks:        56 (98.24561 %)
Over-replicated blocks:        0 (0.0 %)
Under-replicated blocks:        25 (43.85965 %)
Mis-replicated blocks:                0 (0.0 %)
Default replication factor:        1
Average block replication:        0.98245615
Corrupt blocks:                1
Missing replicas:                225 (401.7857 %)
Number of data-nodes:                1
Number of racks:                1
FSCK ended at Sun Dec 22 23:04:31 CST 2013 in 89 milliseconds

恢复工作完成,检查hdfs的数据

以上是“hadoop如何根据SecondaryNameNode恢复Namenode ”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

推荐阅读:
  1. 主节点的namenode、secondarynamenode启动成功,但是slave启动不成功
  2. hadoop2.x 将namenode 与 SecondaryNameNode 分开部署

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop secondarynamenode namenode

上一篇:基于swing+awt的学生信息管理系统是怎样的

下一篇:Hadoop的资源管理模块YAR有什么用

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》