我需要将rds（mysql）和s3（文档）中的数据索引到elasticsearch中，以便执行全文搜索。
我注意到，aws kinesis似乎非常适合这种情况，它可以同时监听s3和mysql，将格式化的结果流到elasticsearch中。
然而，我不明白的是，我如何能够使用动态信息来批量处理现有的数据。
对于rds到elasticsearch，我已经看到了go-mysql elasticsearch的替代方案，它可以为我处理这个问题，但这仍然让我不得不接受千兆字节的s3数据。
有人解决了这个问题吗？我想要一个尽可能简单的设置。
谢谢
1条答案
按热度按时间mdfafbf11#
数据丰富/元数据
至于在elasticsearch中向条目添加元数据，您可能会想到有时称为数据“丰富”的内容。这里有一篇非常详细的博客文章，讨论如何使用静态和动态引用数据来吸收和丰富数据。通过使用aws lambda来丰富您的数据，您可以对数据源运行动态查询，并在记录通过kinesis firehose传入elasticsearch之前对其进行修改。
批量进口
kinesis数据流api支持一个名为
PutRecords. 您可以通过一个api调用将多达500条记录摄取到kinesis数据流中。关于这件事的通告在这里。一旦为新记录设置了摄取和富集管道，就可以编写一个应用程序来检索早于建立管道日期的记录，并将它们写入kinesis数据流。
amazon kinesis数据流|服务api参考| putrecords