map reduce遇到的问题怎么解决

发布时间:2021-12-22 11:40:45 作者:iii
来源:亿速云 阅读:147

这篇文章主要讲解了“map reduce遇到的问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“map reduce遇到的问题怎么解决”吧!

问题:mkdir: Permission denied: user=root, access=WRITE

我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下:

System.setProperty("HADOOP_USER_NAME", "hdfs");

第一步:

解决方法:

  到服务器上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

注意,实验平台可以这么设置,但是工作中,不能这样,这样不安全。

如果还是不行,就是dfs没有权限

第二步:

产生问题原因:

      环境hadoop2,cdh6创建

      使用hadoop fs -mkdir /usr/xxx创建文件路径时,出现权限问题

===========================================================

1.hadoop fs -ls /user

      检查这个路径下面的用户权限学习

       drwxrwxrwt   - yarn hadoop          0 2014-09-03 11:58 /user/history

       drwxr-xr-x   - hdfs hadoop          0 2014-09-03 12:00 /user/spark

    其中:yarn--创建人,hadoop ---组,而root用户属于访客类型的

2.使用hdfs这个用户登录

   sudo -uhdfs hadoop fs -mkdir /usr/

3.通过hdfs用户更改所在用户的权限

  sudo -uhdfs hadoop fs -chown 用户:用户组 /usr

比如过我们是root用户,可以用命令 groups root ,查看root用户的组,得到组也是root现在更改用户的权限

sudo -uhdfs hadoop fs -chown root:root /usr

再用命令 hadoop  fs -ls /  可以看到 目录 /usr,用户名是root,用户组是root

就搞定了。

感谢各位的阅读,以上就是“map reduce遇到的问题怎么解决”的内容了,经过本文的学习后,相信大家对map reduce遇到的问题怎么解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

推荐阅读:
  1. MongoDB-Map&Reduce
  2. map filter reduce

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

map reduce

上一篇:大数据开发中能够同时测功能和过度绘制的工具是什么

下一篇:SolrCloud的Shard怎么理解

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》