将数据插入到avro格式的分区配置单元表中,其中包含来自hdfs的数据

klsxnrf1  于 2021-06-29  发布在  Hive
关注(0)|答案(1)|浏览(360)

我已经创建了一个名为employee(avro格式)的配置单元表,其分区位于department上。
我的hdfs位置有avro数据集。我的数据集也有部门id。
我想用hdfs的数据将数据导入hive表。在导入期间,我希望数据保存在各自的分区中。
如何做到这一点?你知道吗?

kadbb459

kadbb4591#

有两种方法。

  1. Manual partitioning 在路径中加载数据 hdfs path 表分区(deptid='1')
    在路径中加载数据 hdfs path 表分区(deptid='2')
  2. Dynamic partitioning 答。创建中间表
    b。创建带有分区的employee表
    c。将数据从中间表加载到分区表

相关问题