我是新来的 nifi
,正在尝试读取文件并推送到 kafka
. 从一些基本的阅读,我能做到这一点与以下。
有了这个流,我可以达到每秒50万条记录,每条记录的大小为100kb。我想赶上200万/秒的速度。数据来源 ListFile
以及 FetchFile
处理器通过 slitText
处理器很棒。但是,在 PublishKafka
.
很明显,Kafka的出版成了瓶颈。如何提高此性能?我应该在Kafka结束或与尼菲出版Kafka结束调什么。
有人能帮我吗。谢谢
我是新来的 nifi
,正在尝试读取文件并推送到 kafka
. 从一些基本的阅读,我能做到这一点与以下。
有了这个流,我可以达到每秒50万条记录,每条记录的大小为100kb。我想赶上200万/秒的速度。数据来源 ListFile
以及 FetchFile
处理器通过 slitText
处理器很棒。但是,在 PublishKafka
.
很明显,Kafka的出版成了瓶颈。如何提高此性能?我应该在Kafka结束或与尼菲出版Kafka结束调什么。
有人能帮我吗。谢谢
1条答案
按热度按时间mwg9r5ms1#
你可以试着用
Record Oriented
处理器,即PublishKafkaRecord_1.0
处理器。因此,您的流程将是:
通过使用这个流,我们不会使用
SplitText
处理器和定义RecordReader/Writer
中的控制器服务PublishKafkaRecord
处理器。In addition
也可以使用Remote Process Groups
流量:有关设计/配置上述流程的更多详细信息,请参阅此链接。
从nifi-1.8版本开始,我们不需要使用
RemoteProcessGroup
(分配负载)因为我们可以配置连接(关系)来分配负载平衡。请参阅此链接和nifi-5516链接以了解有关这些的更多详细信息
new additions
在nifi-1.8版本中。