hadoop中输入拆分的默认大小是多少。我知道块的默认大小是64MB。hadoopjar中有没有任何文件可以让我们看到所有这些东西的默认值?就像hadoop中的默认复制因子一样。
c0vxltue1#
是的,您可以在hadoop etc/conf文件夹中看到所有这些配置。有多种文件:core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml。它包含hadoop集群的所有默认配置,这些配置也可以被覆盖。您可以参考以下链接:https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttps://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xmlhttps://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml而且,如果您在map/reduce程序中没有定义任何输入分割大小,那么默认的hdfs块分割将被视为输入分割。
zaq34kh62#
记住这两个参数:mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize。我把它们分别称为minsize和maxsize。默认情况下,minsize为1字节,maxsize为long.max\u值。块大小可以是64mb或128mb或更大。在运行时,输入拆分大小由以下公式计算:max(minsize,min(maxsize,blocksize)礼貌:hadoop:the definitive 指南。
2条答案
按热度按时间c0vxltue1#
是的,您可以在hadoop etc/conf文件夹中看到所有这些配置。
有多种文件:core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml。
它包含hadoop集群的所有默认配置,这些配置也可以被覆盖。您可以参考以下链接:
https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
而且,如果您在map/reduce程序中没有定义任何输入分割大小,那么默认的hdfs块分割将被视为输入分割。
zaq34kh62#
记住这两个参数:mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize。我把它们分别称为minsize和maxsize。默认情况下,minsize为1字节,maxsize为long.max\u值。块大小可以是64mb或128mb或更大。
在运行时,输入拆分大小由以下公式计算:max(minsize,min(maxsize,blocksize)
礼貌:hadoop:the definitive 指南。