用es存储大数据和创建即时搜索的最佳方法是什么?

dtcbnfnu  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(252)

我正在做一个项目,每天将存储数百万的数据。所以我想把它存储在压缩结构(只搜索字段和删除不需要的字段)中,以ElasticSearch即时文本搜索。但我想把未压缩的数据存储起来,以便以后处理和分析。它应该有更高的写入速度和更便宜的存储数十亿数据。

oaxa6hgo

oaxa6hgo1#

elasticsearch允许您根据索引决定在何处存储它(通过碎片分配)以及您希望使用哪种压缩(通过索引编解码器)。
因此,使用无限的资源和时间,您可以设计一个流程,将文档索引到每日索引中例如,在一个5节点的集群上,您将最后7天保存在3台服务器上(我们称之为快速服务器),而任何比这更旧的文档都将保存在2台速度较慢的服务器上,这样,过去7天内的查询将运行得更快,而对时间不敏感的作业可以在存储在速度较慢的服务器上的较旧索引上运行。
速度快的服务器可以有更多的计算能力和更快的ssd磁盘,而速度慢的服务器将有正常旋转的磁盘。
关于压缩,elasticsearch压缩在源数据上工作,因此压缩不应影响聚合速度,同样需要注意的是,如果更改索引压缩,它将仅适用于新的/更新的文档,并且不会在您过去索引过的文档上追溯运行。

相关问题