我想知道Kafka和Kafka连接是否可以在不同的服务器上运行？所以一个连接器将在服务器a上启动，并将数据从服务器b上的Kafka主题发送到hdfs或s3等。谢谢
bnl4lu3b1#
是的，对于生产部署，出于资源原因，通常建议这样做。通常，您会在单独的节点上部署一个kafka代理集群（ha为3+），然后部署一个kafka集群工作者集群（根据吞吐量/恢复能力的需要）。有关更多详细信息，请参阅confluent enterprise reference architecture。
xlpyo6sf2#
是的，你能做到。我有一套kafka服务器，kafka connect应用程序在不同的机器上运行，并用hdfs写入数据。您必须在worker properties文件（config/connect-distributed.properties或config/connect standalone.properties）下的bootstrap.servers中提及代理列表，而不是localhost:9092
2条答案
按热度按时间bnl4lu3b1#
是的，对于生产部署，出于资源原因，通常建议这样做。通常，您会在单独的节点上部署一个kafka代理集群（ha为3+），然后部署一个kafka集群工作者集群（根据吞吐量/恢复能力的需要）。
有关更多详细信息，请参阅confluent enterprise reference architecture。
xlpyo6sf2#
是的，你能做到。
我有一套kafka服务器，kafka connect应用程序在不同的机器上运行，并用hdfs写入数据。您必须在worker properties文件（config/connect-distributed.properties或config/connect standalone.properties）下的bootstrap.servers中提及代理列表，而不是localhost:9092