获得CDH/CDP/FusionInsight HD包含的组件版本号的方法是什么

在大数据领域，CDH（Cloudera Distribution Including Apache Hadoop）、CDP（Cloudera Data Platform）和FusionInsight HD（华为的大数据平台）是三种常见的企业级大数据平台。这些平台通常包含多个组件，如HDFS、YARN、Hive、Spark等。了解这些组件的版本号对于系统维护、升级和问题排查至关重要。本文将详细介绍如何获取这些平台中包含的组件版本号。

1. CDH平台

1.1 使用Cloudera Manager

Cloudera Manager是CDH平台的管理工具，通过它可以方便地查看各个组件的版本号。

1.1.1 登录Cloudera Manager

首先，打开浏览器，输入Cloudera Manager的URL，通常为http://<CM_HOST>:7180，然后使用管理员账号登录。

1.1.2 查看组件版本

1. 在Cloudera Manager的主界面，点击左侧的“主机”选项卡。
2. 选择任意一台主机，点击“进程”选项卡。
3. 在进程列表中，可以看到各个组件的版本号。

1.2 使用命令行

如果无法访问Cloudera Manager，可以通过命令行查看组件的版本号。

1.2.1 查看HDFS版本

hdfs version

1.2.2 查看YARN版本

yarn version

1.2.3 查看Hive版本

hive --version

1.2.4 查看Spark版本

spark-submit --version

1.3 查看CDH版本

cat /etc/cloudera-scm-server/cloudera-scm-server.ini | grep version

2. CDP平台

2.1 使用Cloudera Manager

CDP平台同样使用Cloudera Manager进行管理，查看组件版本的方法与CDH类似。

2.1.1 登录Cloudera Manager

打开浏览器，输入Cloudera Manager的URL，通常为http://<CM_HOST>:7180，然后使用管理员账号登录。

2.1.2 查看组件版本

1. 在Cloudera Manager的主界面，点击左侧的“主机”选项卡。
2. 选择任意一台主机，点击“进程”选项卡。
3. 在进程列表中，可以看到各个组件的版本号。

2.2 使用命令行

2.2.1 查看HDFS版本

hdfs version

2.2.2 查看YARN版本

yarn version

2.2.3 查看Hive版本

hive --version

2.2.4 查看Spark版本

spark-submit --version

2.3 查看CDP版本

cat /etc/cloudera-scm-server/cloudera-scm-server.ini | grep version

3. FusionInsight HD平台

3.1 使用FusionInsight Manager

FusionInsight Manager是FusionInsight HD平台的管理工具，通过它可以查看各个组件的版本号。

3.1.1 登录FusionInsight Manager

打开浏览器，输入FusionInsight Manager的URL，通常为https://<FI_HOST>:28443，然后使用管理员账号登录。

3.1.2 查看组件版本

1. 在FusionInsight Manager的主界面，点击左侧的“集群”选项卡。
2. 选择目标集群，点击“组件”选项卡。
3. 在组件列表中，可以看到各个组件的版本号。

3.2 使用命令行

3.2.1 查看HDFS版本

hdfs version

3.2.2 查看YARN版本

yarn version

3.2.3 查看Hive版本

hive --version

3.2.4 查看Spark版本

spark-submit --version

3.3 查看FusionInsight HD版本

cat /opt/huawei/Bigdata/FusionInsight_HD/version.properties

4. 其他方法

4.1 查看组件安装目录

大多数组件的安装目录下会有一个VERSION文件，可以通过查看该文件获取版本号。

cat /path/to/component/VERSION

4.2 使用REST API

一些平台提供了REST API，可以通过API获取组件版本信息。

4.2.1 CDH/CDP

curl -u admin:password http://<CM_HOST>:7180/api/v19/clusters/<CLUSTER_NAME>/services/<SERVICE_NAME>/roles

4.2.2 FusionInsight HD

curl -k -u admin:password https://<FI_HOST>:28443/api/v1/clusters/<CLUSTER_NAME>/services/<SERVICE_NAME>/components

5. 总结

获取CDH、CDP和FusionInsight HD平台中包含的组件版本号有多种方法，包括使用管理工具、命令行、查看安装目录和使用REST API。选择合适的方法可以快速准确地获取所需信息，为系统维护和问题排查提供有力支持。

通过本文的介绍，相信读者已经掌握了如何获取这些平台中组件的版本号。在实际操作中，可以根据具体环境和需求选择最适合的方法。