我想了解财产 mapreduce.job.split.metainfo.maxsize 以及它的影响。描述说：分割metainfo文件允许的最大大小。jobtracker不会尝试读取大于配置值的分割元信息文件。如果设置为-1，则没有限制。“分割元信息文件”包含什么？我读到它将存储有关输入拆分的元信息。输入拆分是对块进行逻辑 Package ，以创建完整的记录，对吗？分割元信息是否包含可能在多个块中可用的实际记录的块地址？
mapreduce.job.split.metainfo.maxsize
xghobddn1#
提交hadoop作业时，整个输入文件集被分割成“split”，并将它们与其元数据一起存储到每个节点。从那时起，但是拆分的元数据计数有一个限制-属性“mapreduce.jobtracker.split.metainfo.maxsize”确定了这个限制，它的默认值是1000万。您可以通过增加此值来绕过此限制，或者通过将其值设置为-1来解除限制
1条答案
按热度按时间xghobddn1#
提交hadoop作业时，整个输入文件集被分割成“split”，并将它们与其元数据一起存储到每个节点。从那时起，但是拆分的元数据计数有一个限制-属性“mapreduce.jobtracker.split.metainfo.maxsize”确定了这个限制，它的默认值是1000万。您可以通过增加此值来绕过此限制，或者通过将其值设置为-1来解除限制