我得到了错误 The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000. 当我尝试在hadoop上运行作业时。
互联网搜索是为了改变一个 mapreduce.job.split.metainfo.maxsize 中的-1选项 mapred-site.xml 文件。但是你不能通过google集群中的文件来编辑这个选项。
我还尝试通过命令行使用 -Dmapreduce.job.split.metainfo.maxsize = -1 ，但无济于事。
我尝试在源代码中使用以下选项：
Configuration config = new Configuration ();
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1");但它仍在犯同样的错误。选择？
1条答案
按热度按时间2ledvvac1#
我也有同样的问题。两条评论：
我不确定
-Dmapreduce.job.split.metainfo.maxsize = -1没有空格也行，但我认为空格是不允许的。第二，看起来您是在一个配置中设置它，而您的作业没有使用它。尝试使用作业正在使用的配置--
这对我来说很管用。祝你好运。