在我们的集群中,dfs.block.size被配置为128m,但是我看到了很多68.8m大小的文件,这是一个奇怪的大小。我对这个配置选项究竟如何影响hdfs上的文件的外观感到困惑。
我想确定的第一件事是,理想情况下,文件的大小是否与已经配置的块大小相同?这里我的意思是理想的一对一Map中的文件和块
如果这些文件不是天生的小文件,而是由乔布斯生成的,那么产生这些小文件的可能原因是什么呢?
还有一点需要补充的是,我们正在使用hive动态分区函数,我不确定这是否是问题的根源之一。对于小文件的来源,我已经检查了这个博客,但它的小文件的问题
但情况和我的不太一样,这让我很困惑。希望有人能给我一些启示。非常感谢。
1条答案
按热度按时间r1wp621o1#
文件可以小于块,在这种情况下,它不会占用文件系统中的整个块大小。阅读以下答案:https://stackoverflow.com/a/14109147/2700344
如果您使用的是带有动态分区加载的配置单元,那么小文件通常是由每个分区编写多个分区的缩减器生成的。
例如,如果您运行上面的命令,并且在最后一步上总共有200个reducer和20个不同的事件日期分区,那么每个reducer将在每个分区中创建文件。它将产生200x20=4000个文件。
为什么会这样?因为数据是随机分布在不同的缩减器之间的,所以每个缩减器接收所有分区的数据并在每个分区中创建文件。
如果你加上
distribute by partition key
```insert overwrite table mytable partition(event_date)
select col1, col2, event_date
from some_table
distribute by event_date;