我已按日期和小时列对配置单元表进行了分区。当我加载数据时，我将创建24个文件。我想把这24个文件合并成一个文件。有人能给我建议解决办法吗
bfrts1fy1#
如果您想在将数据插入分区文件时拥有一个文件，那么您可以拥有如下配置单元：分区日期扣在任何一根柱子上，只有一个桶。由于您的bucket编号是1，因此插入后所有数据都将在文件中。另一种方法是使用下面的hdfs命令合并它
hadoop fs -cat hive_table_data_folder/p* > new_file_name
1条答案
按热度按时间bfrts1fy1#
如果您想在将数据插入分区文件时拥有一个文件，那么您可以拥有如下配置单元：
分区日期
扣在任何一根柱子上，只有一个桶。
由于您的bucket编号是1，因此插入后所有数据都将在文件中。
另一种方法是使用下面的hdfs命令合并它