用于kafka处理程序的oracle goldengate大数据适配器

bvk5enib 于 2021-06-06 发布在 Kafka

关注(0)|答案(1)|浏览(347)

我的问题是关于kafka检查点与replicat，例如，在kafka生产者异步模式下，replicat移动到1到100个操作，假设kakfka处理了80个操作，在81 kafka被关闭了一个小时。Kafka死后，replicat必须从第81次手术中重新定位。kafka处理程序是如何实现的，因为我在ggbigdataadapter oracle网站上没有看到任何提到的检查点和比较逻辑。从第81次操作开始重新启动replicat和adapter的保证是什么。

apache-kafka oracle-golden-gate

来源：https://stackoverflow.com/questions/52619298/oracle-goldengate-big-data-adapter-for-kafka-handler

1条答案

按热度按时间

yfwxisqw1#

检查点由goldengate replicat进程与kafka adapters/handlers一起处理。goldengate安装目录的一部分有子目录来存储与提取或复制进程相关的文件，其中一个目录是dirchk。

dirchk:

Contains the checkpoint files created by Extract and Replicat processes,which store current read and write positions to support data accuracy and fault tolerance. Written in internal Oracle GoldenGate format.

    File name format is group_name+sequence_number.ext where sequence_number is a sequential number appended to aged files and ext is either cpe for Extract checkpoint files or cpr for Replicat checkpoint files.

            Do not edit these files.

            Examples:

            ext1.cpe

            rep1.cpr

您可以从a.2节的链接中阅读goldengate中的子目录
https://docs.oracle.com/goldengate/1212/gg-winux/gimss/installed_components.htm#gimss2361
从链接中浏览goldengate相关命令或ggsci命令https://docs.oracle.com/goldengate/1212/gg-winux/gwurf/ggsci_commands.htm#gwurf884
从上面链接到与replicat相关的第1.1.3节，其中一些重要的replicat命令是info replicat、lag replicat和synchronize replicat
请阅读第10.2节kafka处理程序功能，其中解释了有关检查点的内容
https://docs.oracle.com/goldengate/bd123210/gg-bd/gadbd/using-kafka-handler.htm#gadbd460
解决戈登盖特Kafka处理程序的问题，不是别人，正是罗宾莫法特：-）
https://www.rittmanmead.com/blog/2016/09/using-logdump-to-debug-oracle-goldengate-and-kafka/

赞(0）回复(0）举报 2021-06-07

我来回答

用于kafka处理程序的oracle goldengate大数据适配器

1条答案

相关问题

热门标签

最新问答