我有一个关于Spark流的问题。在我的spark流应用程序中，我有一个作为任务在worker/executor上运行的代码（在处理rdd时在foreachpartition（）中）。我想创建一个线程作为这段代码的一部分，它将在executor/worker上持续运行，从启动到executor还活着，侦听一些外部事件并在此基础上采取一些操作。这在spark流媒体中可以做到吗？
ctehm74n1#
你可以试着把它放进一个定制的接收器里。您可以在实现自定义接收器中找到一些细节。否则，它不适合在Spark流很好。可以在驱动器上启动线程，但我知道这不是您想要的。
1条答案
按热度按时间ctehm74n1#
你可以试着把它放进一个定制的接收器里。您可以在实现自定义接收器中找到一些细节。否则，它不适合在Spark流很好。
可以在驱动器上启动线程，但我知道这不是您想要的。