使用microsoft hive odbc驱动程序从ssis到azure hdinsight

cczfrluj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(321)

目前正在对azure的hdinsight hadoop服务进行rnd项目测试。我们使用SQLServerIntegrationServices来管理etl工作流,因此必须让hdinsight与ssis一起工作。
我在一些azure功能包任务中取得了很好的成功。但是没有用于dft的本地hdinsight/hadoop目标任务。

ssis dft中的microsoft配置单元odbc驱动程序出现问题

我创建了一个dft,其中一个简单的sqlserver“oledb source”指向使用microsoftwhiveodbc驱动程序的“odbc destination”的集群(忽略红色错误。它检测到群集已损坏)。

在输入所有参数后,我测试了集群odbc连接,它测试“ok”。它甚至可以读取配置单元表并将所有列Map到。问题在运行时出现它通常只是锁定,计数器中没有行,否则它将到达缓冲区中的少数行并冻结
我已经解决了以下问题:
验证了连接字符串和hadoop集群用户名/密码。
多次重新创建群集和任务。
源是sql server,如果我只将其指向文件目标或记录集目标,则运行正常。
测试了较少的行数,看看这是否是一个简单的性能问题(从stupidtable中选择Top100)。也只测试了4列。
在单独的工作站上测试,以确保它与机器无关。
说了这么多,我想不出还有什么好尝试的。我所做的与像这样的web示例没有太大区别,只是我将odbc用作目标而不是源。
是否有人成功地在ssis目标任务中使用了配置单元驱动程序或其他驱动程序?提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题