我在分析日志,我有这样的架构:
Kafka->Spark流->ElasticSearch
我的主要目标是在流媒体中创建机器学习模型。我想我可以做两件事:
1) Kafka->spark streaming(ml)->ElasticSearch
2) Kafka->spark streaming->elasticsearch->spark streaming(ml)
-我认为第二种架构是最好的,因为spark流媒体将直接使用索引数据。你怎么认为?对吗-我们能否轻松地将spark流媒体与elasticsearch实时连接起来-如果我们在spark streaming(elasticsearch之后)中创建一个模型,我们必须在这个地方使用这个模型(elasticsearch之后)还是可以在spark streaming(kafka之后的directery)中使用它#use==predict in real time-在elasticsearch之后创建模型是否会使我们的模型保持静态(或者不是在real time approach中)
谢谢您。
1条答案
按热度按时间6vl6ewon1#
你是说这个?
Kafka->spark流媒体->elasticsearch数据库
/*Dataframe名称/