您好,登录后才能下订单哦!
需要搭建一个庞大的cdh系统 //写一个博客系列 从无到有 自己思想的升华!
根据此系统进行相应的优化
构思:
1、搭建cdh 前硬件资源的选型 //这里就要针对hadoop生态圈 去选择什么样的硬件 cpu 硬盘厂家等
2、搭建cdh 版本控制,各个版本的相应的信息
3、搭建cdh 生产环境前的Linux 优化
4、搭建cdh 集群时候的角色规划
5、搭建cdh 生产环境搭建
6、搭建cdh 后hdfs集群优化
7、搭建cdh 后hbase集群的相关优化(HDFS相关配置优化,HBase服务器端优化(GC优化、Compaction优化、硬件配置优化),列族设计优化,客户端优化等)
cdh搭建过程
大体过程分为这几部
1、前期优化
2、mysql搭建
3、jdk
4、jdbc
5、cdh具体搭建
//在这里,需要去了解4大组件的性能调优 hdfs hbase yarn kafka
先从hdfs hbase开始
4、笔者总结至少有如下几个方面:
//HDFS相关配置优化,HBase服务器端优化(GC优化、Compaction优化、硬件配置优化),列族设计优化,客户端优化等,
其中客户端优化在前面已经通过超时机制、重试机制讲过,后面笔者会继续分别介绍其他三个优化重点。
重要的一点,需要升入查看cdh官网的一些参数资料*****
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。