我对hadoop和kafka还不熟悉。我继承了kafka消费者的代码，该消费者在桌面windows机器上运行，接收远程集群上可用的新xml数据的hdfs位置，下载数据进行处理，并将结果写回hdfs集群。
在我看来，消费者应该在集群上运行，因为数据就在集群上，但我看到的所有示例kafka消费者代码都表明生产者/消费者在常规桌面机器上运行。Kafka消费者的典型目标平台是什么？
我对hadoop和kafka还不熟悉。我继承了kafka消费者的代码，该消费者在桌面windows机器上运行，接收远程集群上可用的新xml数据的hdfs位置，下载数据进行处理，并将结果写回hdfs集群。
在我看来，消费者应该在集群上运行，因为数据就在集群上，但我看到的所有示例kafka消费者代码都表明生产者/消费者在常规桌面机器上运行。Kafka消费者的典型目标平台是什么？
1条答案
按热度按时间gt0wga4j1#
生产者和消费者可以在任何地方经营。您看到的示例暗示了桌面执行，因为该代码比在storm拓扑中运行的代码简单得多，而且示例往往过于简单。桌面环境的唯一原因是应用程序的ui。
如果应用程序是无头的，那么将执行移到尽可能接近数据（kafka和hdfs）的位置是非常有意义的。