我在shell驱动程序脚本中spark提交之前调用kinit keytab。问题是,它自己工作,但是当我通过oozie调用shell驱动程序scrip时,我得到了一个错误:
Stdoutput py4j.protocol.Py4JJavaError: An error occurred while calling
o49.saveAsTextFile.
Stdoutput : org.apache.hadoop.ipc.RemoteException(java.io.IOException):
Delegation Token can be issued only with kerberos or web authentication
问题可能就在这里
file.coalesce(1,True).saveAsTextFile(FQDNofHadoop+output)
编辑:在我的脚本中是:kinit-k-t/home/me/me.keytabme@domain.had
编辑:工作方案:
我曾经
spark-submit --principal 'me@DOMAIN.HAD' \ --keytab '/home/me/me.keytab' \
在oozie中执行pyspark脚本时没有出错(甚至写入hive表等等)。log4j logger不起作用(独立脚本起作用),但至少print()(stdout into yarn logs)是的。。。
谢谢
1条答案
按热度按时间ippsafx71#
我用过——校长的名字me@domain.had'--keytab'/home/me/me.keytab'\和pyspark脚本的执行没有出错(甚至写入配置单元表等等)。记录器不工作,但至少print()是的。。。