spark+sentry+kerberos:org.apache.hadoop.security.usergroupinformation.doas()

4bbkushb  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(629)

获取以下错误堆栈:
无法在群集中创建spark会话:org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation)。java:1671)在org.apache.spark.deploy.sparksubmit$.dorunmain$1(sparksubmit。scala:160)在org.apache.spark.deploy.sparksubmit$.submit(sparksubmit。scala:205)在org.apache.spark.deploy.sparksubmit$.main(sparksubmit。scala:120)位于org.apache.hadoop.hive.metastore.hivemetastoreclient.open(hivemetastoreclient)的org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala))。java:466)在org.apache.hadoop.hive.metastore.hivemetastoreclient.(hivemetastoreclient。java:234)在org.apache.hadoop.hive.ql.metadata.sessionhivemetastoreclient.(sessionhivemetastoreclient。java:74) ... 35个以上
我的理解是,应该启用hive.server2.enable.impersonation和hive.server2.enable.doas以使usergroupinformation.doas()工作?
当我尝试启用这些参数时,cloudera manager显示错误
已为配置单元服务器2角色“hiveserver2(hostname)”启用配置单元模拟。应禁用配置单元模拟以使用sentry启用配置单元授权
所以星火Hive与哨兵冲突!?
环境:hue 3.9 spark笔记本+livy服务器(由master构建)。cdh 5.5。
这是一个有哨兵的煤焦化集群。
我使用的是hue的keytab,因为hue用户通常(在cdh中默认)可以模拟其他用户。所以对于spark笔记本来说非常方便。
任何有助于解决这一问题的信息都将不胜感激。

irtuqstp

irtuqstp1#

这两个livy jiras与这个问题有关:
https://issues.cloudera.org/browse/livy-49
https://issues.cloudera.org/browse/livy-52

相关问题