spark sql中的\tmp\hive是用来做什么的(特别是在用winutils.exe设置时)?

lmyy7pcs  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(227)

这是windows上的apache spark。
你需要什么 \tmp\hive 使用更改权限时 winutils.exe ? 我能把这个路径改成一个随机的临时目录吗?

qxsslcnc

qxsslcnc1#

我不知道你从哪儿弄来的这个/tmp/hive的东西。
您只需将hadoop\u主环境设置为winutils.exe。

wbrvyc0a

wbrvyc0a2#

目录 /tmp/hive 是的默认值 hive.exec.scratchdir 配置单元配置变量。
你可以找到更多关于 hive.exec.scratchdir 在正式的配置单元文档中(配置单元配置变量中):
hive.exec.scratchdir此目录由配置单元用于存储查询的不同map/reduce阶段的计划,以及存储这些阶段的中间输出。默认值:/tmp/hive(hive 0.14.0及更高版本)
spark sql在中默认使用配置单元 spark-shell 你可能会尽早经常使用。这就是正确配置目录的必要性。
您可以更改位置(使用 hive-site.xml 如前面提到的官方文档中所述),但是…为什么您会关心它是否使用 /tmp 每个人都能接触到?
p、 您可以关闭sparksql中的配置单元支持,但我怀疑您是否愿意走这条路来解决这个问题(因为这会引入新的更严重的问题)。

相关问题