pig.temp.dir属性是必需的吗?

xurqigkl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(421)
Pig Execution Mode = Local

在这种情况下,我们需要设置pig.temp.dir=/temp属性,并且这个/temp文件夹需要存在于hdfs中。
注:
存储中间结果
pig将mapreduce作业之间生成的中间数据存储在hdfs上的临时位置。在使用之前,hdfs上必须已经存在此位置。可以使用pig.temp.dir属性配置此位置。该属性的默认值是“/tmp”,这与pig0.7.0和早期版本中的硬编码位置相同。
依据:http://pig.apache.org/docs/r0.14.0/start.html#reqstoring 中间结果标题

cedebl8k

cedebl8k1#

您仍然需要有一些临时目录,但它必须存在于您的本地文件系统中。在本地模式下,默认情况下,pig(和mapreduce)在本地文件系统上执行所有操作。

相关问题