在sqoop中更改事务隔离级别设置行为

n3schb8v  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(560)

我们目前正在尝试使用sqoop将数据从hadoop摄取到azuresql数据仓库,但是得到了与事务隔离级别相关的错误。实际情况是,sqoop在尝试导入/导出时尝试将事务隔离级别设置为read committed,而azuresql数据仓库当前不支持此功能。我试过使用——sqoop的宽松隔离参数,但仍然没有效果。作为解决办法,我想:1。更改sqoop源代码以将sqoop的行为更改为不设置事务级别2。寻找允许我以编程方式更改此sqoop行为的api(如果有的话)。
有人遇到过这样的情况吗?寻找建议解决方案的建议以及如何实施。

wr98u20j

wr98u20j1#

这个问题刚刚在sqoop中得到解决:https://issues.apache.org/jira/browse/sqoop-2349
否则,@wbob关于使用polybase的评论绝对是最佳实践:https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-sql-data-warehouse-connector#use-polybase将数据加载到azure sql数据仓库

相关问题