apache storm从elasticsearch读取数据到flink聚合？

hs1ihplo 于 2021-06-24 发布在 Storm

关注(0)|答案(1)|浏览(408)

我正在尝试使用kafka消息更新elasticsearch中的文档（作为streamsource）。使用windows和elasticsearch连接器作为接收器批量写入elasticsearch是可以的，但是，我们需要更新文档中的现有数据，并以批量执行的方式读取这些数据（不是针对每个元组，而是针对一个事件后的整个窗口） byKey() 我们要汇总的拆分）
我们现在正在使用storm trident，它在 persistentAggregate 并将更新后的聚合写回，以最小化与后端的交互。我只是在Flink身上找不到类似的东西-有什么线索吗？

apache-flink flink-streaming apache-storm trident

来源：https://stackoverflow.com/questions/56345369/reading-data-form-elasticsearch-into-flink-aggregation

1条答案

按热度按时间

aiqt4smr1#

在流媒体上运行两个窗口调用如何- window1 -从elasticsearch批量读取 window2 -进入ElasticSearch。

streamData
  .window1(bulkRead and update/join)
  .processFunction(...)
  .window2(BulkPush)

您可以使用任何适合的方法进行批量读取 Storm Trident .
在window2链接中使用bulkprocessor

赞(0）回复(0）举报 2021-06-24

我来回答

apache storm从elasticsearch读取数据到flink聚合？

1条答案

相关问题

热门标签

最新问答