pig0.14.0处理大量小文件

p1iqtdky  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(118)

我需要使用pig从hdfs读取大量的小文件,hadoop版本是2.6(yarn)。
作业获取容器错误。
我四处搜索,发现我们可以在hadoop1.*中设置“mapred.job.reuse.jvm.num.tasks”,现在已经不支持了。
那我们怎么处理Yarn呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题