我得到了错误 The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.
当我尝试在hadoop上运行作业时。
互联网搜索是为了改变一个 mapreduce.job.split.metainfo.maxsize
中的-1选项 mapred-site.xml
文件。但是你不能通过google集群中的文件来编辑这个选项。
我还尝试通过命令行使用 -Dmapreduce.job.split.metainfo.maxsize = -1
,但无济于事。
我尝试在源代码中使用以下选项:
Configuration config = new Configuration ();
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1");
但它仍在犯同样的错误。选择?
1条答案
按热度按时间2ledvvac1#
我也有同样的问题。两条评论:
我不确定
-Dmapreduce.job.split.metainfo.maxsize = -1
没有空格也行,但我认为空格是不允许的。第二,看起来您是在一个配置中设置它,而您的作业没有使用它。尝试使用作业正在使用的配置--
这对我来说很管用。祝你好运。