如何将postgresql中的数据导入hadoop?

jdzmm42g  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(454)

我只是一个hadoop的初学者,我的一所大学要求我帮助将一些postgresql表迁移到hadoop。因为我对postgresql没有太多的经验(虽然我知道数据库),所以我不确定这种迁移的最佳方式是什么。我的一个想法是将表导出为gson数据,然后从hadoop中处理它们,如下例所示:http://www.codeproject.com/articles/757934/apache-hadoop-for-windows-platform. 有没有更好的方法将数据(表和数据库)从postgresql导入hadoop?

cgvd09ve

cgvd09ve1#

使用下面的命令。它对我有用。
sqoop导入--driver=org.postgresql.driver--connectjdbc:postgresql用法://localhost/your\u db--username your\u user--password your\u password--table employees--target dir/sqoop\u data-m1

qij5mzcb

qij5mzcb2#

sqoop公司(http://sqoop.apache.org/)是专门为此而设计的工具。仔细阅读文档,sqoop提供了传输数据的最佳和最简单的方法。

相关问题