github上的apache kafka

tktrz96b  于 2021-06-07  发布在  Kafka
关注(0)|答案(3)|浏览(331)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

7年前关门了。
改进这个问题
在github(或其他地方)上是否有使用apachekafka(首选0.8版)的好的演示项目?我们已经用一些玩具项目测试过了。但我想看看现实世界中一些更大的项目。

lc8prwob

lc8prwob1#

你可以试试这个https://github.com/wurstmeister/storm-kafka-0.8-plus 使用0.8版本

yuvru6vn

yuvru6vn2#

我用Kafka已经很久了。我使用franzkafkanodejs客户端来实现pubsubbub规范。
我也没有发现任何项目使用Kafka,但你可以问我任何问题,你有,我会尽量回答他们。
谢谢

kqhtkvqz

kqhtkvqz3#

玩具项目和演示项目一样好。写你自己的简单生产者/消费者会很有趣。你可以创建自己的演示项目(这样做你会学到很多)。考虑一个需要大量流式数据(比如正在运行的应用程序的日志)的问题。现在让Kafka看看那些日志。Kafka只是一种消息队列。除非你给你的消费者写信,否则我不认为会有任何乐趣。所以对于一个真实世界的消费者来说,可以说是twitter风暴。将应用程序的所有日志行发送到代理,storm消费者(aka kafka spout)在代理处提取这些行并将它们发送到bolt(spout/bolt是storm术语,类似于map reduce,但用于实时)。
这样您将有一个完整的演示应用程序。
现在是主要问题。如何生成日志以提供给kafka(对于演示项目,如果您没有任何应用程序)。有很多巨大的数据集可用(开源)。从youtube到amazon再到twitter,都提供了它们。只需下载它并考虑一些应用程序。例如,考虑youtube视频日志(http://netsg.cs.sfu.ca/youtubedata/). 就像他们要上线一样进行模拟。把它们输入Kafka。让storm consumer(或kafka spout)从kafka经纪人那里为您挑选日志行。把每一行日志交给bolt,比如说bolt只是读取这一行(做一些分析),并计算最近x分钟观看的视频的最热门/流行类型。
写这些应该不需要太多时间。好好享受!

相关问题