我创建了一个spring-boot应用程序，它使用spark流式api从kafka读取数据，并为elasticsearch编制索引。我有几个问题要问如何在spark主集群上部署这个jar。在哪里可以看到我的应用程序日志？有什么方法可以达到同样的效果？如果主人死了怎么办(似乎是一个单一的失败点）任何线索都将不胜感激。
ctehm74n1#
我不认为你需要spring-boot应用程序仅仅是为了阅读kafka的内容，并通过spark流媒体把它放到es上，apachespark足以做到这一点，但是你可能有自己的理由。关于你的问题：部署：您可以创建一个包含所有类路径依赖项的uberjar，并将其提交给spark集群。集群负责将其分布在节点上，并使其具有容错性应用程序日志：通常可以通过log4j文件来指示spark，您可以在其中控制应用程序的日志功能。如果你在Yarn上跑步，你也可以使用Yarn日志和grep实用程序
1条答案
按热度按时间ctehm74n1#
我不认为你需要spring-boot应用程序仅仅是为了阅读kafka的内容，并通过spark流媒体把它放到es上，apachespark足以做到这一点，但是你可能有自己的理由。
关于你的问题：
部署：您可以创建一个包含所有类路径依赖项的uberjar，并将其提交给spark集群。集群负责将其分布在节点上，并使其具有容错性
应用程序日志：通常可以通过log4j文件来指示spark，您可以在其中控制应用程序的日志功能。如果你在Yarn上跑步，你也可以使用Yarn日志和grep实用程序