hdfs中零件文件的命名约定

fivyi3re  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(381)

当我们在hive中执行insert-into命令时,执行的结果会在hdfs中创建多个部件文件。
e、 g.零件-**-****或0000000000001\u0等。
是否有控制这些零件文件命名的配置/设置?
我所在的集群创建000000\u 0,000001\u 0,000000\u 1等。我想将此更改为部分或文本等,以便我可以更容易地提取这些文件并在需要时合并它们。
如果有一个设置可以在执行hql之前在hive中设置,那将是理想的。
提前谢谢。

6rvt4ljy

6rvt4ljy1#

我想你应该能

set mapreduce.output.basename = part-;

这行不通。我找到的唯一方法是使用自定义文件编写器。

相关问题