我收听twitter流并成功地从tweets中提取了我想要的数据。现在我想用提取的信息继续构建一个图,比如
(user)--[tweets]-->(tweet)
(tweet)--[mentions]-->(user)
(tweet)--[tagged]-->(hashtag)
当这个图随着时间的推移不断构建时,我想在这个图上运行查询。我怎么能用apache flink做到这一点?
我收听twitter流并成功地从tweets中提取了我想要的数据。现在我想用提取的信息继续构建一个图,比如
(user)--[tweets]-->(tweet)
(tweet)--[mentions]-->(user)
(tweet)--[tagged]-->(hashtag)
当这个图随着时间的推移不断构建时,我想在这个图上运行查询。我怎么能用apache flink做到这一点?
1条答案
按热度按时间kmpatx3s1#
在论坛和jira上进行了更多的挖掘,我发现gelly流媒体符合我的需求。
有了它,我们就可以创造一个
GraphStream
,GraphStream<Long, NullValue, NullValue> graph = new SimpleEdgeStream<>(getEdgesDataSet(env), env);
示例:https://github.com/vasia/gelly-streaming/tree/master/src/main/java/org/apache/flink/graph/streaming/example以下是一些其他相关链接。
在apache flink邮件列表中:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/graph-with-stream-of-updates-td5166.html
vasia kalavri关于图形作为流的论述:https://berlinbuzzwords.de/session/graphs-streams-rethinking-graph-processing-streaming-era