如何进行多次修改CDH集群关联的Kerberos域后Spark无法正常获得短名称映射的问题排查

引言

在CDH（Cloudera Distribution for Hadoop）集群中，Kerberos认证是保障集群安全的重要手段。然而，在实际操作中，可能会遇到多次修改Kerberos域后，Spark应用无法正常获得短名称映射（Short Name Mapping）的问题。本文将详细探讨这一问题的排查步骤和解决方案。

问题描述

在CDH集群中，Kerberos域（Realm）的修改可能会导致Spark应用无法正常获得短名称映射。具体表现为：

1. Spark应用在提交任务时，无法正确解析Kerberos主体（Principal）的短名称。
2. 日志中显示GSSException: No valid credentials provided或Kerberos authentication failed等错误信息。
3. 任务无法正常启动或执行。

排查步骤

1. 检查Kerberos配置

首先，确保Kerberos的配置正确无误。检查以下配置文件：

• /etc/krb5.conf：确保default_realm和realms部分配置正确。
• /etc/hadoop/conf/core-site.xml：检查hadoop.security.authentication和hadoop.security.authorization配置项。
• /etc/spark/conf/spark-defaults.conf：确保spark.kerberos.principal和spark.kerberos.keytab配置正确。

2. 验证Kerberos票据

使用klist命令验证当前用户的Kerberos票据是否有效：

klist

如果票据无效或过期，使用kinit命令重新获取票据：

kinit -kt /path/to/keytab principal@REALM

3. 检查短名称映射配置

短名称映射通常通过hadoop.security.auth_to_local配置项进行设置。检查/etc/hadoop/conf/core-site.xml中的hadoop.security.auth_to_local配置：

<property>
  <name>hadoop.security.auth_to_local</name>
  <value>
    RULE:[2:$1@$0](.*@REALM1)s/@.*//
    RULE:[2:$1@$0](.*@REALM2)s/@.*//
    DEFAULT
  </value>
</property>

确保配置中包含所有相关的Kerberos域，并且规则正确。

4. 检查Spark日志

查看Spark应用的日志，特别是stderr和stdout日志，寻找与Kerberos认证相关的错误信息。常见的错误包括：

• GSSException: No valid credentials provided
• Kerberos authentication failed

5. 检查HDFS权限

确保Spark应用使用的HDFS目录具有正确的权限。使用hdfs dfs -ls命令检查目录权限：

hdfs dfs -ls /path/to/directory

如果权限不足，使用hdfs dfs -chmod命令修改权限：

hdfs dfs -chmod -R 775 /path/to/directory

6. 检查Kerberos主体

确保Spark应用使用的Kerberos主体在Kerberos KDC（Key Distribution Center）中已正确配置。使用kadmin命令检查主体是否存在：

kadmin -q "get_principal principal@REALM"

如果主体不存在，使用kadmin命令添加主体：

kadmin -q "add_principal -randkey principal@REALM"

7. 检查Kerberos域同步

如果集群中有多个节点，确保所有节点的Kerberos配置同步。使用scp命令将/etc/krb5.conf文件同步到所有节点：

scp /etc/krb5.conf node1:/etc/krb5.conf
scp /etc/krb5.conf node2:/etc/krb5.conf

8. 重启相关服务

在完成上述检查和修改后，重启相关服务以确保配置生效：

sudo systemctl restart hadoop-hdfs-namenode
sudo systemctl restart hadoop-hdfs-datanode
sudo systemctl restart spark-history-server

解决方案

根据排查结果，采取相应的解决方案：

1. 修正Kerberos配置：确保/etc/krb5.conf和/etc/hadoop/conf/core-site.xml中的配置正确。
2. 更新短名称映射规则：在hadoop.security.auth_to_local中添加或修正相关Kerberos域的映射规则。
3. 重新获取Kerberos票据：使用kinit命令重新获取有效的Kerberos票据。
4. 调整HDFS权限：确保Spark应用使用的HDFS目录具有正确的权限。
5. 添加或修正Kerberos主体：使用kadmin命令添加或修正Kerberos主体。
6. 同步Kerberos配置：确保所有节点的Kerberos配置一致。
7. 重启服务：重启相关服务以使配置生效。

结论

多次修改CDH集群关联的Kerberos域后，Spark应用无法正常获得短名称映射的问题可能由多种原因引起。通过系统地检查Kerberos配置、短名称映射规则、Kerberos票据、HDFS权限、Kerberos主体以及集群节点的配置同步情况，可以有效地排查和解决这一问题。希望本文提供的排查步骤和解决方案能够帮助读者顺利解决类似问题，确保Spark应用在Kerberos认证环境下正常运行。