我有一个经常生成事件的移动应用程序,有数百万用户会使用这个应用程序。捕获这些事件并将它们持久化到hdfs中以供以后分析的最佳方法是什么?
holgip5t1#
正如我从您的标签中假设的那样,您倾向于将kafka和flume与kafka source和hdfs sink一起使用。您的移动应用程序可以将数据发布到kafka主题,然后通过使用kafka源或kafka通道(如果您不需要使用拦截器),您可以使用这些事件并写入hdfs接收器。Kafka是可伸缩的,所以你不必担心处理高比率的事件。不过,我建议您使用hbase作为数据存储。它将允许您稍后以0(1)次访问每个事件。这可以通过hbase sink完成。请查看cloudera博客上的这篇文章。
1条答案
按热度按时间holgip5t1#
正如我从您的标签中假设的那样,您倾向于将kafka和flume与kafka source和hdfs sink一起使用。您的移动应用程序可以将数据发布到kafka主题,然后通过使用kafka源或kafka通道(如果您不需要使用拦截器),您可以使用这些事件并写入hdfs接收器。Kafka是可伸缩的,所以你不必担心处理高比率的事件。不过,我建议您使用hbase作为数据存储。它将允许您稍后以0(1)次访问每个事件。这可以通过hbase sink完成。请查看cloudera博客上的这篇文章。