org.apache.kafka.common.topicpartition;类对于反序列化无效

wj8zmpe1  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(280)

我正在使用spark 1.6.2和kafka 0.10.0.1编写一个spark流媒体应用程序,我在yarn上运行该应用程序,大部分时间运行良好,但在某些情况下,我遇到以下例外情况:

org.apache.kafka.common.TopicPartition; class invalid for deserialization

我真不明白为什么会这样。以前有人遇到过这个问题吗?请问怎么解决?感谢您的帮助!
我的代码是这样的:我的主题被zookeeper抵消了,

val fromOffsets: Map[TopicPartition, Long] = getMyOffsetMethod()

然后我用这个来创建一个数据流,

consumerStrategy = ConsumerStrategies.Subscribe[String, String]
(Set(topic), kafkaConf, fromOffsets)
linesDStream = KafkaUtils.createDirectStream(
  ssc, LocationStrategies.PreferBrokers, consumerStrategy)

是这个原因导致了这个问题吗?另外@matthias j。sax,它是反序列化,而不是序列化

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题