sqoop2提供了什么而sqoop1没有?

wgmfuz8q  于 2021-05-29  发布在  Hadoop
关注(0)|答案(3)|浏览(419)

根据sqoop.apache.org,sqoop2的特性并不完整,不应该用于生产系统。公平地说,有些人可能想在他们的测试环境中测试sqoop2的新特性。
cloudera在sqoop1和sqoop2之间有一个特性比较(https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html),但是根据页面,sqoop2没有提供sqoop1没有提供的东西。
那么,为什么会有人以当前的形式使用sqoop2呢?它比sqoop1有什么优势吗?如果没有,为什么可以使用?提前谢谢!

zphenhs4

zphenhs41#

简单地说:
根据cloudera(截至2017年11月)
注意:不推荐使用sqoop2。cloudera建议使用sqoop1。

j8yoct9x

j8yoct9x2#

sqoop2稳定版中预期的一些特性:
一个易于使用的gui,它是对现有命令行的补充。
安全修复,如公开共享的密码要修复
更容易调试和更好的日志记录。
为不遵循jdbc模型的连接器提供支持。
目前还没有稳定的sqoop2版本。但是您可以构建最新的项目来测试产品,并提交给开放项目(如果感兴趣的话)。
参考:
sqoop2提案
功能和版本

hjzp0vay

hjzp0vay3#

apachesqoop使用客户机模型,用户需要在客户机上安装sqoop以及连接器/驱动程序。sqoop2使用基于服务的模型,其中连接器/驱动程序安装在sqoop2服务器上。另外,所有的配置都需要在sqoop2服务器上完成。
从mr的Angular 来看,另一个区别是sqoop只提交map-only作业,而sqoop2提交mapreduce作业,其中mappers将从源传输数据,而reducer将根据指定的源转换数据。这提供了一个干净的抽象。在sqoop中,传输和转换都仅由Map器提供。
sqoop2的另一个主要区别是从安全的Angular 来看。管理员将设置到源和目标的连接,而操作员用户使用已经建立的连接,因此操作员用户不需要知道有关连接的详细信息。根据需要,操作员只能接触部分连接器。

相关问题