这是windows上的apache spark。你需要什么 \tmp\hive 使用更改权限时 winutils.exe ? 我能把这个路径改成一个随机的临时目录吗?
\tmp\hive
winutils.exe
qxsslcnc1#
我不知道你从哪儿弄来的这个/tmp/hive的东西。您只需将hadoop\u主环境设置为winutils.exe。
wbrvyc0a2#
目录 /tmp/hive 是的默认值 hive.exec.scratchdir 配置单元配置变量。你可以找到更多关于 hive.exec.scratchdir 在正式的配置单元文档中(配置单元配置变量中):hive.exec.scratchdir此目录由配置单元用于存储查询的不同map/reduce阶段的计划,以及存储这些阶段的中间输出。默认值:/tmp/hive(hive 0.14.0及更高版本)spark sql在中默认使用配置单元 spark-shell 你可能会尽早经常使用。这就是正确配置目录的必要性。您可以更改位置(使用 hive-site.xml 如前面提到的官方文档中所述),但是…为什么您会关心它是否使用 /tmp 每个人都能接触到?p、 您可以关闭sparksql中的配置单元支持,但我怀疑您是否愿意走这条路来解决这个问题(因为这会引入新的更严重的问题)。
/tmp/hive
hive.exec.scratchdir
spark-shell
hive-site.xml
/tmp
2条答案
按热度按时间qxsslcnc1#
我不知道你从哪儿弄来的这个/tmp/hive的东西。
您只需将hadoop\u主环境设置为winutils.exe。
wbrvyc0a2#
目录
/tmp/hive
是的默认值hive.exec.scratchdir
配置单元配置变量。你可以找到更多关于
hive.exec.scratchdir
在正式的配置单元文档中(配置单元配置变量中):hive.exec.scratchdir此目录由配置单元用于存储查询的不同map/reduce阶段的计划,以及存储这些阶段的中间输出。默认值:/tmp/hive(hive 0.14.0及更高版本)
spark sql在中默认使用配置单元
spark-shell
你可能会尽早经常使用。这就是正确配置目录的必要性。您可以更改位置(使用
hive-site.xml
如前面提到的官方文档中所述),但是…为什么您会关心它是否使用/tmp
每个人都能接触到?p、 您可以关闭sparksql中的配置单元支持,但我怀疑您是否愿意走这条路来解决这个问题(因为这会引入新的更严重的问题)。