我有一个虚拟机上的Spark流,我想连接它与其他虚拟机,其中包含Kafka。我想让spark从Kafka的机器上获取数据。有可能吗?谢谢
pbpqsu0x1#
将它们放在不同的vm上是可能的,也是非常合理的。这样就有了明确的角色划分。
tgabmvqs2#
是的,绝对有可能。事实上,这就是为什么我们有分布式系统的原因:)在编写spark流程序时,如果您使用的是kafka,则必须创建kafka配置数据结构(语法将根据您的编程语言和客户端而有所不同)。在该配置结构中,必须指定kafka代理ip。这将是你的Kafka虚拟机的ip。然后只需要在spark虚拟机上运行spark流应用程序。
2条答案
按热度按时间pbpqsu0x1#
将它们放在不同的vm上是可能的,也是非常合理的。这样就有了明确的角色划分。
tgabmvqs2#
是的,绝对有可能。事实上,这就是为什么我们有分布式系统的原因:)
在编写spark流程序时,如果您使用的是kafka,则必须创建kafka配置数据结构(语法将根据您的编程语言和客户端而有所不同)。在该配置结构中,必须指定kafka代理ip。这将是你的Kafka虚拟机的ip。
然后只需要在spark虚拟机上运行spark流应用程序。