我想创建一个包含数据库中所有表中所有数据的大表,然后将此表导出到csv文件,然后将此文件导入hbase?我的问题是第一步,即如何从所有数据库表创建bigtable?我会感谢你的帮助。提前谢谢。
tquggr8v1#
如果希望将所有数据转储到hbase或hdfs,可以使用sqoop将所有表和数据传输到hbase。将所有数据转换为一个大表可能既不高效也不可行。注意,不能将clob/blob数据导出到cvs文件。
oo7oh9g92#
你为什么要这么做?编写mapreduce作业并将输出注入hbase表中。
7nbnzgx93#
看看sqoop,也许它能帮上忙。我们使用它将rdbms中的数据存储到配置单元表中。至于hive,它可以自动创建具有适当列名和类型的表。它还需要 split_by 用于自定义查询的选项,指定如何将数据拆分为块。
split_by
3条答案
按热度按时间tquggr8v1#
如果希望将所有数据转储到hbase或hdfs,可以使用sqoop将所有表和数据传输到hbase。将所有数据转换为一个大表可能既不高效也不可行。注意,不能将clob/blob数据导出到cvs文件。
oo7oh9g92#
你为什么要这么做?编写mapreduce作业并将输出注入hbase表中。
7nbnzgx93#
看看sqoop,也许它能帮上忙。
我们使用它将rdbms中的数据存储到配置单元表中。至于hive,它可以自动创建具有适当列名和类型的表。它还需要
split_by
用于自定义查询的选项,指定如何将数据拆分为块。