我有以下用例,
我想连接一个远程hadoop集群。所以,我得到了所有hadoop conf文件(coresite.xml、hdfs-site.xml和其他文件),并将其存储在本地文件系统的一个目录中。我得到了正确的keytab和krb5.conf文件用于kerberos身份验证。我安装了hadoop并将untar文件放在某个目录下,比如 /User/xyz/hadoop
. 我设置了以下环境变量: JAVA_HOME(), HADOOP_HOME, HADOOP_CONF_DIR
最后把krb5.conf文件放在 /etc/
. 此设置帮助我使用 kinit -kt <keytab> <principal user>
执行hadoop命令,比如 hadoop fs -ls /
从我的本地终端访问群集。
但是,我想在不下载hadoop的情况下执行相同的操作。有办法吗?我正在使用python,偶然发现了这个hdfs python库。然而,我很难理解和使用这个库。
我想要达到的目标,有可能吗?
如果是,正确的方法是什么?
有人能指导我用正确的配置设置hdfscli库吗?
暂无答案!
目前还没有任何答案,快来回答吧!