我已经创建了一个名为employee(avro格式)的配置单元表,其分区位于department上。我的hdfs位置有avro数据集。我的数据集也有部门id。我想用hdfs的数据将数据导入hive表。在导入期间,我希望数据保存在各自的分区中。如何做到这一点?你知道吗?
kadbb4591#
有两种方法。
Manual partitioning
hdfs path
Dynamic partitioning
1条答案
按热度按时间kadbb4591#
有两种方法。
Manual partitioning
在路径中加载数据hdfs path
表分区(deptid='1')在路径中加载数据
hdfs path
表分区(deptid='2')Dynamic partitioning
答。创建中间表b。创建带有分区的employee表
c。将数据从中间表加载到分区表