Pig Execution Mode = Local
在这种情况下,我们需要设置pig.temp.dir=/temp属性,并且这个/temp文件夹需要存在于hdfs中。
注:
存储中间结果
pig将mapreduce作业之间生成的中间数据存储在hdfs上的临时位置。在使用之前,hdfs上必须已经存在此位置。可以使用pig.temp.dir属性配置此位置。该属性的默认值是“/tmp”,这与pig0.7.0和早期版本中的硬编码位置相同。
依据:http://pig.apache.org/docs/r0.14.0/start.html#reqstoring 中间结果标题
1条答案
按热度按时间cedebl8k1#
您仍然需要有一些临时目录,但它必须存在于您的本地文件系统中。在本地模式下,默认情况下,pig(和mapreduce)在本地文件系统上执行所有操作。