我有一个前端，它可以和写在play框架上的后端进行通信，我的目标是对这个网站上的用户活动进行分析，比如某个时间的用户活动统计，按用户性别划分的动作，不同国家的活动统计等等。我想用这些数据在后端收集 Play framework 把它送到 Kafka ，其中 Spark streaming will ingest 这些数据进行聚合并将分析写入数据库。
我对下一刻有疑问：
play框架是否可以作为向服务器发送数据的适当位置 Kafka （例如，通过带有 Akka streams 或者我必须用别的东西来代替 Play 为了这个目的？
触发事件的最佳事件是什么 producing to Kafka 在用户活动中-例如，用户执行了特定的操作，并立即向kafka发送数据，或在内存中收集此数据，并在阈值受限时发送。
p、 美国事件 Spark streaming 每小时触发一次， streaming 将使用来自的数据 Kafka 并将其写入数据库。我怀疑最好的解决方案是在数据到达时简单地消费数据。如果我对这种方法有错误，请纠正我。
1条答案
按热度按时间0wi1tuuw1#
每小时触发一次spark streaming事件，streaming将消耗kafka的数据并将其写入数据库。我怀疑最好的解决方案是在数据到达时简单地消费数据。如果我对这种方法有错误，请纠正我。
[a] 这取决于您的业务需求。如果您想要接近实时的洞察，那么您需要在数据到达时使用数据，而不是一小时一批
play framework是否适合向kafka发送数据（例如，通过akka streams等单独的控制器），或者我必须使用其他东西来代替play？
[a] 我强烈建议您使用kafka流来代替spark，因为您使用的是java。我对这出戏了解得不够，无法评论
在用户活动中触发对Kafka的生成的最佳事件是什么-例如，用户做出了特定的动作并立即向Kafka发送数据，或者在内存中收集这些数据并在阈值受限时发送。
[a] 为了避免影响应用程序本身，应该以异步方式向kafka发送消息