我有一个hdfs档案,以存储各种文件,如pdf,ms word文件,ppt,csv等。我想建立一个平台,使用elasticsearch搜索文件或文本内容。我知道我可以使用es hadoop插件将数据从hdfs索引到es。我想知道从hdfs中存储的文档中提取文本数据并对其进行索引的最佳方法。任何帮助都将不胜感激。
oug3syen1#
我做了很多搜索,这是我到目前为止找到的方法列表。以下是整体集成/插件页面:https://www.elastic.co/guide/en/elasticsearch/plugins/master/integrations.html这是Map器附件的新替代品,injest插件:https://www.elastic.co/guide/en/elasticsearch/plugins/current/ingest-attachment.html 关于如何使用它的帖子:https://qbox.io/blog/index-attachments-files-elasticsearch-mapper 下面讨论使用injest vs fs crawler的优缺点(dadoonet是一个弹性开发人员):https://discuss.elastic.co/t/mapper-attachment-plugin-vs-pre-parsing-and-extracting-content-from-binary-files/73764/10以下是文件系统爬虫(fs爬虫)插件:https://github.com/dadoonet/fscrawler以下是ambar文档搜索系统-他们有一个社区github,带有开放源代码:https://ambar.cloud/https网址:github.com/rd17/ambarhttps://blog.ambar.cloud/ingesting-documents-pdf-word-txt-etc-into-elasticsearch/ 他们似乎使用了两种数据库服务器类型(mongodb和redis),但还不知道为什么。这里是ApacheTika,injest和ambar都使用它(它还通过使用tesseract提供ocr,我听说injest不支持它):http://tika.apache.org/1.16/此外,在injest使用tika时,只支持文件类型的一个子集:https://discuss.elastic.co/t/full-list-of-supported-document-formats-by-es/81149我希望上述节省其他开发人员的时间,如果人们发现更多,他们将评论下面。谢谢!
dtcbnfnu2#
您可以使用elasticsearch mapper附件插件。这个插件使用apache tika来接收几乎所有已知类型的文档,并使其可以通过elasticsearch进行搜索。希望有帮助。
2条答案
按热度按时间oug3syen1#
我做了很多搜索,这是我到目前为止找到的方法列表。
以下是整体集成/插件页面:https://www.elastic.co/guide/en/elasticsearch/plugins/master/integrations.html
这是Map器附件的新替代品,injest插件:https://www.elastic.co/guide/en/elasticsearch/plugins/current/ingest-attachment.html 关于如何使用它的帖子:https://qbox.io/blog/index-attachments-files-elasticsearch-mapper 下面讨论使用injest vs fs crawler的优缺点(dadoonet是一个弹性开发人员):https://discuss.elastic.co/t/mapper-attachment-plugin-vs-pre-parsing-and-extracting-content-from-binary-files/73764/10
以下是文件系统爬虫(fs爬虫)插件:https://github.com/dadoonet/fscrawler
以下是ambar文档搜索系统-他们有一个社区github,带有开放源代码:https://ambar.cloud/https网址:github.com/rd17/ambarhttps://blog.ambar.cloud/ingesting-documents-pdf-word-txt-etc-into-elasticsearch/ 他们似乎使用了两种数据库服务器类型(mongodb和redis),但还不知道为什么。
这里是ApacheTika,injest和ambar都使用它(它还通过使用tesseract提供ocr,我听说injest不支持它):http://tika.apache.org/1.16/
此外,在injest使用tika时,只支持文件类型的一个子集:https://discuss.elastic.co/t/full-list-of-supported-document-formats-by-es/81149
我希望上述节省其他开发人员的时间,如果人们发现更多,他们将评论下面。
谢谢!
dtcbnfnu2#
您可以使用elasticsearch mapper附件插件。这个插件使用apache tika来接收几乎所有已知类型的文档,并使其可以通过elasticsearch进行搜索。希望有帮助。