有没有什么方法可以生成一个配置单元表转储,这样就可以将表转储发送到配置单元并重新加载到配置单元中,从而保留分区和bucketing结构?
ca1c2owp1#
基本上,您要做的一件事就是将加载到配置单元表(比如a)中的文件(dump)作为dump。现在,在将该文件重新加载到其他配置单元表(比如b)中时,实际上可以基于上一个配置单元表(即a)创建b。要创建类似于a的b,可以使用org.apache.hadoop.hive.metastore.hivemetastoreclient类访问表a的metastore信息,然后可以加载文件(dump)并加载到所需的分区中。
wyyhbhjk2#
Hive0.8(及更高版本)为我们提供了 EXPORT . 使用此功能,我们可以将表中的数据以及相应的元数据导出到hdfs文件。数据以json格式存储。以这种方式导出的数据可以使用 IMPORT 命令。请参阅此以了解更多详细信息。
EXPORT
IMPORT
2条答案
按热度按时间ca1c2owp1#
基本上,您要做的一件事就是将加载到配置单元表(比如a)中的文件(dump)作为dump。现在,在将该文件重新加载到其他配置单元表(比如b)中时,实际上可以基于上一个配置单元表(即a)创建b。要创建类似于a的b,可以使用org.apache.hadoop.hive.metastore.hivemetastoreclient类访问表a的metastore信息,然后可以加载文件(dump)并加载到所需的分区中。
wyyhbhjk2#
Hive0.8(及更高版本)为我们提供了
EXPORT
. 使用此功能,我们可以将表中的数据以及相应的元数据导出到hdfs文件。数据以json格式存储。以这种方式导出的数据可以使用IMPORT
命令。请参阅此以了解更多详细信息。