我正在尝试使用db2——IBMCDC——kafka构建cdc管道,我正在尝试找出正确的方法来设置它。我试过下面的东西-
1.在prem上的linux上设置一个3节点kafka集群
2.在prem上的linux上安装iidr cdc软件,使用- setup-iidr-11.4.0.1-5085-linux-x86.bin
文件。cdc示例已启动并正在运行。
各种在线文档建议安装“iidr管理控制台”来配置源数据存储和cdc服务器配置,以及kafka订阅配置来构建管道。
目前我没有安装管理控制台。关于这一点,没有什么问题-
1.对于设置kafka cdc管道,是否有ibm cdc管理控制台的替代方案?
2.如何获取iidr管理控制台?如果我们把它安装在本地的windowsdekstop上,并尝试连接到远程linux服务器上的cdc/kafka,它能工作吗?
3.是否有其他方法将数据摄取iidr cdc设置为kafka?
我是cdc/iidr的新手,请帮帮我!
1条答案
按热度按时间n3schb8v1#
我为我们的cdc复制产品开发了iidr kafka target。
管理控制台是最初设置订阅的最佳方式。你可以把它安装在一个windows盒子上。
从技术上讲,我相信您也可以使用我们的脚本语言chcclp来设置订阅。但是我建议使用gui。
以下是我们关于iidr(cdc)Kafka目标的资源链接。搜索“Kafka”部分。
"https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/w8d78486eafb9\u 4a06\u a482\u 7e7962f5ac59/page/iidr%20wiki“
设置订阅和复制的一个示例是此视频
https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5
管理控制台和访问服务器可以从ibmfix central获得。
我已经在我的虚拟机和我的个人windows设备上安装了mc/access服务器,以便在linux虚拟机上使用它。你当然需要连接。
你一定能得到我们的支持,他们会帮你解决的。另外,我们的mc知识中心有文档,从这里开始。。。。https://www.ibm.com/support/knowledgecenter/en/sstrgz_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/overview_of_cdc.html
您会发现我们的kafka目标非常灵活它提供了五种不同的格式来将数据写入kafka,并且您可以选择以审计格式捕获数据,或者选择kafka压缩兼容键null作为delete方法。
此外,您甚至可以使用该产品从一个insert操作将多条记录以多种格式写入多个不同的主题。如果您的一些消费者应用程序需要json,而其他应用程序需要avro二进制文件,那么这将非常有用。此外,您可以使用它将所有数据放到更安全的主题中,并将部分数据写到更多人可以访问的主题中。
我们甚至有客户在复制时加密正在运行的列。
最后,即使您选择只使用一个生产者来编写数据,产品的转换也可以并行化。
实际上还有最后一点,我们还提供了使用特殊使用者的选项,该使用者为写入kafka的数据生成数据库acid语义,并跨主题和分区进行分解。它重新命令它。我们称之为事务一致性消费者。它提供了操作顺序、用于重新启动应用程序的书签,并允许性能上的并行性,但对重复数据消除的消耗是有序的,只有一次。
从我在Kafka峰会上的讲话中。。。
https://www.confluent.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions