我使用的是spark-2.4，我有一个启用kerberos的集群，我试图通过 spark-sql 贝壳。
简化的设置基本上是这样的：sparksqlshell在yarn集群中的一个主机上运行->运行一个主机的外部hivemetastore->s3来存储表数据。
当我启动 spark-sql 启用了调试日志记录的shell，这是我在日志中看到的：

> bin/spark-sql --proxy-user proxy_user

...
DEBUG HiveDelegationTokenProvider: Getting Hive delegation token for proxy_user against hive/_HOST@REALM.COM at thrift://hive-metastore:9083
DEBUG UserGroupInformation: PrivilegedAction as:spark/spark_host@REALM.COM (auth:KERBEROS) from:org.apache.spark.deploy.security.HiveDelegationTokenProvider.doAsRealUser(HiveDelegationTokenProvider.scala:130)

这意味着spark调用从配置单元元存储中获取委派令牌，然后将其添加到ugi的凭据列表中。这是spark中的一段代码。我还在metastore日志中验证 get_delegation_token() 正在打电话。
现在当我运行一个简单的查询 create table test_table (id int) location "s3://some/prefix"; 我被一个错误击中了。我修改了hive metastore代码，并在hadoop中的文件系统初始化之前添加了这个代码（org/apache/hadoop/hive/metastore/warehouse.java）：

public static FileSystem getFs(Path f, Configuration conf) throws MetaException {
...
    try {
      // get the current user 
      UserGroupInformation ugi = UserGroupInformation.getCurrentUser();
      LOG.info("UGI information: " + ugi);
      Collection<Token<? extends TokenIdentifier>> tokens = ugi.getCredentials().getAllTokens();
      // print all the tokens it has 
      for(Token token : tokens) {
        LOG.info(token);
      }
    } catch (IOException e) {
      e.printStackTrace();
    }
...
}

在metastore日志中，这会打印正确的ugi信息：

UGI information: proxy_user (auth:PROXY) via hive/hive-metastore@REALM.COM (auth:KERBEROS)

但是ugi里没有代币。看起来spark代码加上了别名 hive.server2.delegation.token 但我在ugi里看不到。这让我怀疑ugi作用域是隔离的，不能在sparksql和hivemetastore之间共享。我该怎么解决这个问题？