我遇到了以下问题
有关可能的kafkaparams,请参阅kafka consumer config docs。如果spark batch持续时间大于默认的kafka心跳会话超时(30秒),请适当增加heartbeat.interval.ms和session.timeout.ms。对于大于5分钟的批处理,这将需要更改代理上的group.max.session.timeout.ms
在此链接上https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html
如果我在spark conf上设置了以下属性,这是否适用
conf.set("spark.streaming.kafka.consumer.poll.ms", "5000")
另外,将heartbeat.interval.ms和session.timeout.ms设置为大于kafka流批处理持续时间的原因是什么?Kafka的心跳会不会因为消费者的民意调查请求而减少?
我还在本地机器上运行spark流应用程序和kafka。我的批量大小是1分钟,我的kafka配置如下
heartbeat.interval.ms = 3000
session.timeout.ms = 30000
但是,当以1分钟的批处理持续时间和高于心跳间隔和会话超时值的值运行时,我并没有看到任何问题。我是不是漏了什么?
暂无答案!
目前还没有任何答案,快来回答吧!