在kubernetes上部署针对apache spark的elasticsearch

vvppvyoh  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(521)

我想知道是否有人有使用elasticsearch for hadoop库配置kubernetes集群的经验。我在尝试从spark写入elasticsearch时遇到了节点发现超时的问题。由于elasticsearch cloud kubernetes plugin for es处理发现,我已经启动并运行了elasticsearch,但我不确定如何最好地配置elasticsearch hadoop来感知kubernetes集群中的节点(pods)。我试过设置 spark.es.nodes 到es客户端服务,但这似乎不起作用。我也知道我可以 es.nodes.wan.only ,但正如文档中所指出的,这将严重影响性能,从而使它们无法在同一集群上运行。任何帮助都将不胜感激。

ykejflvf

ykejflvf1#

我对elasticsearch hadoop不太熟悉,但你是否尝试过将elasticsearch hadoop指向elasticsearch服务而不是特定节点?主节点通常会处理es集群中的所有内容。

相关问题