如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程

发布时间:2021-12-15 15:47:32 作者:柒染
来源:亿速云 阅读:325

如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

1.版本
CDH5.9.1  安装KAFKA-2.0.2-1.2.0.2.p0.5-el6     https://archive.cloudera.com/kafka/parcels/2.0/       失败
CDH5.9.1  安装KAFKA-2.1.0-1.2.1.0.p0.115-el6  https://archive.cloudera.com/kafka/parcels/2.1.0/      失败
CDH5.10.0 安装KAFKA-2.1.1-1.2.1.1.p0.18-el6   https://archive.cloudera.com/kafka/parcels/latest/     失败

2.错误描述
自定义kafka的parcel库,安装kafka服务,无法安装过去。
如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程
2.1打开 stdout,stderr,Role Log 三个日志输出,
我们一般出现问题,只会看Role log的,这时抛错为"Will not attempt to authenticate using SASL (unknown error)",这时我们就分析kafka连接不上zk,
于是Google,百度等等,各种检查一大堆,最后没有解决问题。

2.2具体排查: 

  1. 防火墙,

  2. 端口号,

  3. /etc/hosts文件,

  4. zoo.cfg文件,

  5. 用户权限,

  6. kafka的zk jar包(客户端)和zookeeper的jar包版本,

  7. kafka broker进程的内存太小,直接oom


3.Role log:

Opening socket connection to server sht-sgmhadoopdn-03/172.16.101.60:2181. Will not attempt to authenticate using SASL (unknown error)
如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程

4.stdout:
java.lang.OutOfMemoryError: Java heap space
如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程

5.stderr:
+ grep -q OnOutOfMemoryError /proc/14495/cmdline
+ RET=0
+ '[' 0 -eq 0 ']'
+ TARGET=14495
++ date
+ echo Thu Mar 30 18:10:20 CST 2017
+ kill -9 14495
如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程

6.经过n次的排查操作,无效。这时我才仔细去看stdout 和 stderr日志,发现这么一句话“OnOutOfMemoryError”,
刚开始我已经注意到这句话,但是没有仔细去想,所以耗时差不多1.5工作日。

7.我们需要删除kafka服务,重新安装,那么最好也要将kafka的log.dirs参数的值为"/var/local/kafka/data",这个目录,安装的机器上手工删除掉。

   
8.于是我们另外打开cdh的home界面,发现kafka已经安装上,就是启动失败,然后去kafka的配置界面搜索"memory"字样,修改为1G,保存。
如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程 
 
 
9.启动kafka即可。
如何解析自定义kafka的parcel库及CDH安装kafka服务无法安装过去的排雷过程
 
10.思考
在第一次安装时,界面中没有配置这个参数的值。
为什么,为什么,为什么kafka的在安装时broker_max_heap_size这个参数设置的这么小?

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。

推荐阅读:
  1. 基于cdh的Kafka配置及部署(详细,成功运行)
  2. CDH如何集成kafka

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

cdh kafka parcel

上一篇:如何解析Flume与Kafka整合

下一篇:Kafka Connect如何实现同步RDS binlog数据

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》