我想写一个使用Kafka连接器的简单例子。我的设置包括使用三个节点n1、n2和n3。在我的例子中,n1是源节点,n2,n3是汇节点。我正在将数据写入节点n1上的文本文件(比如input.txt),并使用独立的kafka连接器希望在节点n2和n3上看到内容类似于input.txt的文本文件。
我正在使用RESTAPI更改主题名、文件名和tasks.max。但是,在实验过程中,我无法同时在两个节点(n2和n3)上获得input.txt的完整副本。
还可以调整sink连接器的节点(n2和n3)上tasks.max的值,以决定将发送哪个节点的数据。
所以,我的问题是,我期待这样的结果是否是错误的?如果是这样的话,那么作为实验的结果我应该期待什么呢?如果没有,我如何得到我想要的结果?
如果能在这件事上得到任何帮助,我将不胜感激。
1条答案
按热度按时间ymdaylpp1#
实际上,我对接收器n2和n3使用了相同的消费者组名称,因此在接收器n2和n3接收到的数据在它们之间进行了划分。
更改了connect-file-sink-n2.properties和connect-file-sink-n3.properties中的组名(“名称”),允许接收器n2和n3作为独立订户运行并接收完整数据。
以下来自合流讨论组的链接支持这种解释:https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!主题/汇合平台/sun2omxsaxy