将路由器数据推送到分布式消息传递系统

iaqfqrcu  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(461)

查询:作为kafka集群的生产者制作路由器接口。
问题:我的路由器的接口正试图将数据推送到kafka运行的端口(默认情况下为9092)。
问。1但是kafka代理可以在不创建主题的情况下接受这些数据吗?
问。2Kafka消费者能在不指定主题的情况下提取数据吗?

If yes, How ?

      If not, What is work around this and how can i achieve this ?

第一次编辑:
我刚刚检查了kafka代理配置是否有“auto.create.topics.enable”字段。如果我将此设置为true并在kafka的端口上发送一些随机数据而不使用“kafka console producer”命令,kafka代理会接受它吗?
谢谢您。

eh57zj3b

eh57zj3b1#

kafka代理可以在不创建主题的情况下接受这些数据吗
默认情况下,kafka代理的设置方式是,如果您试图将数据推送到它,而它还不存在,它将创建主题。这种行为是由 auto.create.topics.enable 参数(带 true / false 值)。
但是,如果不创建主题,代理就不能接受数据。是的,必须在生产者端指定主题名称。
Kafka消费者能在不指定主题的情况下提取数据吗
不,不能。
如果没有,什么是围绕这一点的工作,我如何才能实现这一点?
您必须以某种方式检索主题名称,例如,通过api列出所有主题并选择适当的主题,或者您可以直接挖掘zookeeper内部,尽管我不建议您这样做。
我刚刚检查了kafka代理配置是否有“auto.create.topics.enable”字段。如果我将此设置为true并在kafka的端口上发送一些随机数据而不使用“kafka console producer”命令,kafka代理会接受它吗?
当然不是。kafka使用它自己的协议在生产者和代理、代理和消费者之间建立连接,而且这些消息是专门编码的。

相关问题