如何在使用tez向hiveorc表插入数据时创建小文件

3okqufwl 于 2021-06-26 发布在 Hive

关注(0)|答案(2)|浏览(451)

我尝试了几个选项，但我只看到配置设置合并小文件到大文件，如下面，但不是反之亦然。我正在寻找创建大小为150kb的文件。

set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000;
set hive.merge.size.per.task=128000;

Hive apache-tez orc

来源：https://stackoverflow.com/questions/46223457/how-to-create-small-files-while-inserting-data-to-hive-orc-table-using-tez

2条答案

按热度按时间

2w3kk1z51#

请尝试以下设置，这些设置有助于保存小文件：

set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000;
set hive.merge.size.per.task=128000;
set mapreduce.input.fileinputformat.split.minsize=100;
set mapreduce.input.fileinputformat.split.maxsize=128000;
set hive.exec.orc.default.block.size=128000;

赞(0）回复(0）举报 2021-06-26

bfhwhh0e2#

您可以尝试设置orc块大小 hive.exec.orc.default.block.size . 同样要跳过合并小文件，您需要禁用标志。 set hive.merge.tezfiles=false; 有关如何生成文件的详细信息，请参阅hortonworks社区线程链接。

赞(0）回复(0）举报 2021-06-26