如何将关系数据库转换为一个bigtable

carvr3hs  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(337)

我想创建一个包含数据库中所有表中所有数据的大表,然后将此表导出到csv文件,然后将此文件导入hbase?我的问题是第一步,即如何从所有数据库表创建bigtable?我会感谢你的帮助。提前谢谢。

tquggr8v

tquggr8v1#

如果希望将所有数据转储到hbase或hdfs,可以使用sqoop将所有表和数据传输到hbase。将所有数据转换为一个大表可能既不高效也不可行。注意,不能将clob/blob数据导出到cvs文件。

oo7oh9g9

oo7oh9g92#

你为什么要这么做?编写mapreduce作业并将输出注入hbase表中。

7nbnzgx9

7nbnzgx93#

看看sqoop,也许它能帮上忙。
我们使用它将rdbms中的数据存储到配置单元表中。至于hive,它可以自动创建具有适当列名和类型的表。它还需要 split_by 用于自定义查询的选项,指定如何将数据拆分为块。

相关问题