pyspark读取文件时出错flume hdfs sink导入user=flume且权限为644的文件

kkbh8khc  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(306)

我正在使用cloudera quickstart vm 5.12
我有一个flume代理移动csv文件从spooldir源到hdfs接收器。操作正常,但导入的文件有:

User=flume 
Group=cloudera 
Permissions=-rw-r--r--

当我使用pyspark并得到:

PriviledgedActionException as:cloudera (auth:SIMPLE) 
cause:org.apache.hadoop.security.AccessControlException: Permission denied: 
user=cloudera, access=EXECUTE, 
inode=/user/cloudera/flume/events/small.csv:cloudera:cloudera:-rw-r--r-- 
(Ancestor /user/cloudera/flume/events/small.csv is not a directory).

如果我使用“hdfs dfs-put…”而不是flume,那么用户和组是“cloudera”,权限是777。无Spark误差

解决办法是什么?我无法从flume中找到更改文件权限的方法。也许我的方法是根本错误的
有什么想法吗?
谢谢您

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题