用twitter流构建一个图,并使用apacheflink进行查询

z9zf31ra  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(351)

我收听twitter流并成功地从tweets中提取了我想要的数据。现在我想用提取的信息继续构建一个图,比如

(user)--[tweets]-->(tweet) 

 (tweet)--[mentions]-->(user)

 (tweet)--[tagged]-->(hashtag)

当这个图随着时间的推移不断构建时,我想在这个图上运行查询。我怎么能用apache flink做到这一点?

kmpatx3s

kmpatx3s1#

在论坛和jira上进行了更多的挖掘,我发现gelly流媒体符合我的需求。
有了它,我们就可以创造一个 GraphStream , GraphStream<Long, NullValue, NullValue> graph = new SimpleEdgeStream<>(getEdgesDataSet(env), env); 示例:https://github.com/vasia/gelly-streaming/tree/master/src/main/java/org/apache/flink/graph/streaming/example
以下是一些其他相关链接。
在apache flink邮件列表中:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/graph-with-stream-of-updates-td5166.html
vasia kalavri关于图形作为流的论述:https://berlinbuzzwords.de/session/graphs-streams-rethinking-graph-processing-streaming-era

相关问题