在使用streaming-kafka-0-8-integration direct方法的spark流期间，如果批正在排队，执行者是否会将排队批的数据拉入内存？如果没有，那么积压很长时间的批次又有什么坏处呢？
piah890a1#
是的，spark将从kafka队列中提取数据并对内存进行处理，其危害将是对kafka资源的压力，因为kafka有很长的批量积压。
1条答案
按热度按时间piah890a1#
是的，spark将从kafka队列中提取数据并对内存进行处理，其危害将是对kafka资源的压力，因为kafka有很长的批量积压。