您好,登录后才能下订单哦!
这篇文章主要讲解了“map reduce遇到的问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“map reduce遇到的问题怎么解决”吧!
问题:mkdir: Permission denied: user=root, access=WRITE
我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下:
System.setProperty("HADOOP_USER_NAME", "hdfs");
第一步:
解决方法:
到服务器上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
注意,实验平台可以这么设置,但是工作中,不能这样,这样不安全。
如果还是不行,就是dfs没有权限
第二步:
产生问题原因:
环境hadoop2,cdh6创建
使用hadoop fs -mkdir /usr/xxx创建文件路径时,出现权限问题
===========================================================
1.hadoop fs -ls /user
检查这个路径下面的用户权限学习
drwxrwxrwt - yarn hadoop 0 2014-09-03 11:58 /user/history
drwxr-xr-x - hdfs hadoop 0 2014-09-03 12:00 /user/spark
其中:yarn--创建人,hadoop ---组,而root用户属于访客类型的
2.使用hdfs这个用户登录
sudo -uhdfs hadoop fs -mkdir /usr/
3.通过hdfs用户更改所在用户的权限
sudo -uhdfs hadoop fs -chown 用户:用户组 /usr
比如过我们是root用户,可以用命令 groups root ,查看root用户的组,得到组也是root现在更改用户的权限
sudo -uhdfs hadoop fs -chown root:root /usr
再用命令 hadoop fs -ls / 可以看到 目录 /usr,用户名是root,用户组是root
就搞定了。
感谢各位的阅读,以上就是“map reduce遇到的问题怎么解决”的内容了,经过本文的学习后,相信大家对map reduce遇到的问题怎么解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。