我想知道是否有人有使用elasticsearch for hadoop库配置kubernetes集群的经验。我在尝试从spark写入elasticsearch时遇到了节点发现超时的问题。由于elasticsearch cloud kubernetes plugin for es处理发现,我已经启动并运行了elasticsearch,但我不确定如何最好地配置elasticsearch hadoop来感知kubernetes集群中的节点(pods)。我试过设置 spark.es.nodes
到es客户端服务,但这似乎不起作用。我也知道我可以 es.nodes.wan.only
,但正如文档中所指出的,这将严重影响性能,从而使它们无法在同一集群上运行。任何帮助都将不胜感激。
1条答案
按热度按时间ykejflvf1#
我对elasticsearch hadoop不太熟悉,但你是否尝试过将elasticsearch hadoop指向elasticsearch服务而不是特定节点?主节点通常会处理es集群中的所有内容。