hadoop中输入拆分的默认大小是多少。我知道块的默认大小是64MB。hadoopjar中有没有任何文件可以让我们看到所有这些东西的默认值？就像hadoop中的默认复制因子一样。
c0vxltue1#
是的，您可以在hadoop etc/conf文件夹中看到所有这些配置。有多种文件：core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml。它包含hadoop集群的所有默认配置，这些配置也可以被覆盖。您可以参考以下链接：https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttps://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xmlhttps://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml而且，如果您在map/reduce程序中没有定义任何输入分割大小，那么默认的hdfs块分割将被视为输入分割。
zaq34kh62#
记住这两个参数：mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize。我把它们分别称为minsize和maxsize。默认情况下，minsize为1字节，maxsize为long.max\u值。块大小可以是64mb或128mb或更大。在运行时，输入拆分大小由以下公式计算：max（minsize，min（maxsize，blocksize）礼貌：hadoop:the definitive 指南。
2条答案
按热度按时间c0vxltue1#
是的，您可以在hadoop etc/conf文件夹中看到所有这些配置。
有多种文件：core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml。
它包含hadoop集群的所有默认配置，这些配置也可以被覆盖。您可以参考以下链接：
https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
而且，如果您在map/reduce程序中没有定义任何输入分割大小，那么默认的hdfs块分割将被视为输入分割。
zaq34kh62#
记住这两个参数：mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize。我把它们分别称为minsize和maxsize。默认情况下，minsize为1字节，maxsize为long.max\u值。块大小可以是64mb或128mb或更大。
在运行时，输入拆分大小由以下公式计算：max（minsize，min（maxsize，blocksize）
礼貌：hadoop:the definitive 指南。