sparkpy坚持hdfs上的root scratch dir:/tmp/hive应该是可写的

osh3o9ms  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(374)

我正在尝试运行pyspark程序来访问配置单元服务器。程序通过抛出错误终止 pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x; 现在,hdfs上的root scratch dir:/tmp/hive应该是可写的。当前权限是:-wx-----建议我使用chmod 777。是的。 drwxrwxrwx - hadoopuser supergroup 0 2019-07-03 06:39 /tmp/hive 但是,pyspark仍然抛出相同的错误。
因此,我决定将scratch dir文件夹改为/tmp/sparkpy。我在hive-site.xml上注册了此更改
我重新启动了hiveserver2,beeline确认更改已注册。

+------------------------------------+
|                set                 |
+------------------------------------+
| hive.exec.scratchdir=/tmp/sparkpy  |
+------------------------------------+
1 row selected (0.028 seconds)

然而,pyspark仍然停留在/tmp/hive,并坚持认为它是不可写的。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题