在我的用例中,我使用spark结构化流从kafka读取不同类型的度量(事件数据)。在我的案例中有多个可用的接收器(phoenix、mysql、parquet)。对于我使用的每个数据集 foreach
函数来处理数据并存储在给定的接收器中。现在这里的问题是,有些任务会持续运行较长时间,直到被手动终止(始终处于活动状态)。我已经将推测标志设置为正确的间歇性解决方案,但我不确定这里的问题是什么,是什么导致了这个问题。我在线程转储中看到线程锁定和等待,但在日志中没有看到任何错误。在此处输入图像描述
在我的用例中,我使用spark结构化流从kafka读取不同类型的度量(事件数据)。在我的案例中有多个可用的接收器(phoenix、mysql、parquet)。对于我使用的每个数据集 foreach
函数来处理数据并存储在给定的接收器中。现在这里的问题是,有些任务会持续运行较长时间,直到被手动终止(始终处于活动状态)。我已经将推测标志设置为正确的间歇性解决方案,但我不确定这里的问题是什么,是什么导致了这个问题。我在线程转储中看到线程锁定和等待,但在日志中没有看到任何错误。在此处输入图像描述
暂无答案!
目前还没有任何答案,快来回答吧!