rdd到hdfs-身份验证错误-retryinvocationhandler

gwo2fgha 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(288)

我有一个rdd，我想写的hdfs。 data.saveAsTextFile("hdfs://path/vertices") 这将返回： WARN RetryInvocationHandler: Exception while invoking ClientNamenodeProtocolTranslatorPB.getFileInfo over null. Not retrying because try once and fail. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS] 我已经检查了kerberos，并且它经过了正确的身份验证。
我该怎么解决这个问题？

hadoop apache-spark kerberos

来源：https://stackoverflow.com/questions/40534450/rdd-to-hdfs-authentication-error-retryinvocationhandler

2条答案

按热度按时间

jv4diomz1#

这个问题实际上与使用hdfs时如何引用hdfs中的文件有关 kerberos .
而不是 hdfs://<HOST>:<HTTP_PORT> 它是 webhdfs://<HOST>:<HTTP_PORT>

赞(0）回复(0）举报 2021-06-02

vyu0f0g12#

好，
你需要检查你的路径 /etc/security/keytabs 检查你的Spark键是否在那里。
此路径是kerberos配置的推荐路径。也许它可以在另一条路上。
但最重要的是，这个键标签应该在同一路径中的所有工人机器中。
您还可以检查spark的配置文件，该文件应安装在：

SPARK_HOME/conf

这个文件夹应该有spark conf文件 spark-defaults.conf 此conf文件需要包含以下内容：

spark.history.kerberos.enabled true
spark.history.kerberos.keytab /etc/security/keytabs/spark.keytab
spark.history.kerberos.principal user@DOMAIN.LOCAL

赞(0）回复(0）举报 2021-06-02

我来回答

rdd到hdfs-身份验证错误-retryinvocationhandler

2条答案

相关问题

热门标签

最新问答