Cloudera大数据平台有什么用

发布时间:2022-01-18 10:54:50 作者:柒染
来源:亿速云 阅读:228

本篇文章为大家展示了Cloudera大数据平台有什么用,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

CDH:是Cloudera发布的一个自己封装的Hadoop商业版软件发行包,里面不仅包含了Cloudera的商业版Hadoop,同时CDH中也包含了各类常用的开源数据处理与存储框架,如Spark、Hive、Hbase等。

Cloudera Manager:简称CM 是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大的简化。它是Hadoop集群的软件分发及管理监控平台,通过它可以快速地部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。

Cloudera大数据平台有什么用

CM核心功能分为四大模块

一、管理功能

1、批量自动化部署节点:CM提供强大的Hadoop集群部署能力,能够批量地自动化部署节点,安装一个Hadoop集群只需添加需要安装的节点、安装需要的组件和分配角色这三步,大大缩短了Hadoop的安装时间,也简化了Hadoop的安装过程。

2、可视化的参数配置功能:Hadoop包含许多组件,不同组件都包含各种各样的XML配置文件,CM提供界面GUI可视化参数配置功能。

3、智能参数验证以及优化:当用户配置部分参数值有问题时,CM会给出智能错误提示,帮助用户更合理地修改配置参数。

4、高可用配置:CM对关键的组件使用HA部署,如NameNode高可用可以通过CMweb管理界面,根据向导启动HDFS HA。

5、权限管理:提供不同级别的管理权限,比如只读用户访问CM的界面时,所有服务对应的启停等操作选项都不可用。

二、监控功能

1、服务监控:查看服务和实例级别健康检查的结果,对设置各种指标和系统运行情况进行全面监控,而且系统会对管理员应该采取的行动提出建议。

2、主机监控:监控集群内所有主机的有关信息,包括主机上目前消耗的内存、主机上运行的角色分配等,不但可以显示所有集群主机的汇总视图,而且能进一步显示单个主机的关键指标详细视图。

3、行为监控:CM提供了列表和图表来查看集群上进行的活动,不仅可以显示当前正在进行的活动还可以通过仪表盘查看历史活动。

4、事件活动:监控界面可以查看事件,系统管理员可以通过时间范围、服务、主机、关键字等字段信息过滤事件。

5、报警:通过CM界面可以对指定事件产生报警,并通过邮件或者SNMP通知。

6、日志和报告:可以轻松点击一个链接查看相关特定服务的日志条目,并且CM可以对收集的历史监控数据统计生成报表。

三、诊断功能

1、周期性服务诊断:CM会对集群中运行的服务进行周期性的诊断,已检测这些服务的状态是否正常,如有异常会及时通知。

2、日志采集及检索:对于一个大规模的集群,CM提供了日志的收集功能,能够通过统一的界面查看集群中每台机器、各项服务的日志,并且可以根据日志级别进行检索。

3、系统性能使用报告:CM能够产生系统性能报告,包括集群的CPU使用率、单节点的CPU使用率、单个进程的CPU使用率等各项性能数据,这对hadoop集群调优很重要。

四、集成功能

1、安全配置:为了方便Hadoop大数据平台与原有身份认证系统如AD、LDAP等的集成,CM只需在界面上配置即可完成。

2、CM API:通过CM API 可以方便将CM集成到企业原有管理系统中

3、SNMP集成【简单网络管理协议(SNMP)】:CM提供了方面的SNMP集成能力,只需要简单的配置就能够将SNMP进行集成,并且将集群中的告警信息进行转发。

CM的高级功能(付费)

1、软件滚动升级:Hadoop版本升级和bug修复,支持升级过程中继续对外提供服务及应用。

2、参数版本控制:任何时候进行配置修改并保证之后,CM会对该配置生成一个版本,支持查看历史配置,并能回滚到不同版本,从而为集群恢复、问题诊断提供了可靠的依据。

3、备份及容灾系统BDR:实现界面化的数据备份与容灾恢复。

4、数据审计:支持对数据的审计和访问

5、安全集成向导:启动Kerberos集成和外部安全认证集成,如支持通过内部数据库和外部服务进行用户认证。

上述内容就是Cloudera大数据平台有什么用,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

推荐阅读:
  1. 大数据平台是什么?有哪些功能?如何搭建大数据平台?
  2. 0007-如何迁移Cloudera Manager节点

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

cloudera 大数据

上一篇:大数据技术该怎样分析

下一篇:Java应用的Post请求怎么实现

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》