如果hadoop(hdp)集群已经使用ad/ldap,我为什么要使用kerberise呢?

5vf7fwbs  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(461)

我有一个hdp集群。
此群集配置为使用active directory作为身份验证和授权机构。更具体地说,在用户提供正确的用户名/密码组合后,我们使用ranger来限制对hdfs目录、配置单元表和yarn队列的访问。
我的任务是对集群进行kerberise,这非常容易,这要感谢ambari中类似于“按下按钮并跳过”的选项。
我们测试了一个集群。虽然与hive交互不需要对集群机器上现有的脚本进行任何修改,但是要想让最终用户从集群外部(powerbi、dbvisualizer、php应用程序)与hive交互是非常非常困难的。
开煤车似乎带来了不必要的工作量。
使用kerberised集群会给我带来什么具体的好处(除了让上面的人高兴,因为,嘿,我们kerberised了,yoohoo)?
编辑:
一个好处:
kerberising集群在linux机器上运行时提供了更多的安全性,但是公司activedirectory不能处理这样的操作系统。

wixjitnu

wixjitnu1#

带有ad/ldap身份验证和授权的ranger对于外部用户来说是可以的,但是它不会保护机器到机器或命令行的交互。
我不确定它是否仍然适用,但是在没有kerberos的cloudera集群上,可以通过设置环境参数来伪造登录 HADOOP_USER_NAME 在命令行上:

sh-4.1$ whoami
ali
sh-4.1$ hadoop fs -ls /tmp/hive/zeppelin
ls: Permission denied: user=ali, access=READ_EXECUTE, inode="/tmp/hive/zeppelin":zeppelin:hdfs:drwx------
sh-4.1$ export HADOOP_USER_NAME=hdfs
sh-4.1$ hadoop fs -ls /tmp/hive/zeppelin
Found 4 items
drwx------   - zeppelin hdfs          0 2015-09-26 17:51 /tmp/hive/zeppelin/037f5062-56ba-4efc-b438-6f349cab51e4

对于机器到机器的通信,诸如storm、kafka、solr或spark之类的工具不受ranger的保护,但它们受kerberos的保护,因此只有专用进程才能使用这些服务。
资料来源:https://community.cloudera.com/t5/support-questions/kerberos-ad-ldap-and-ranger/td-p/96755
更新:显然,Kafka和Solr的集成已经在ranger中实现了。

相关问题