Kafkaspark流媒体集成

ldfqzlk8  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(379)

我已经在我的系统中使用maven设置了kafka和spark流。我想知道任何建议,可以帮助我做更广泛的业务,除了在生产者键入一些东西,看到它在消费者。
如何创建一个源代码,将json或avro之类的数据连续地放入kafka producer,这样我就可以用spark处理它,并从中执行一些操作。需要建议我如何设计这个

eivnm1vs

eivnm1vs1#

请找到下面的链接。
https://github.com/hortonworks-gallery/tutorials/blob/master/2015-09-26-transporting-real-time-event-stream-with-apache-kafka.md
这是一个hdp教程。。如果您不使用hdp堆栈。。请忽略教程的开头部分。。
它是通过一个jar文件生成一个kafka生产者
在本教程中,使用JavaAPI使用纽约市卡车路线(kml)文件生成卡车事件。
您需要下载数据文件、java代码和jar文件。。
有关详细信息,请参见教程
希望这有帮助

相关问题