我在用蛇咬伤库从我的气流DAG访问hdfs。我的hdfs集群已升级到高可用性模式。现在，这意味着配置为仅指向一个名称节点的客户端将在该名称节点不是活动节点时失败。我可以使用什么策略使高可用性模式高度可用？我可以配置snakebite客户端以故障转移到另一个节点吗？我可以使用某种负载平衡器将流量定向到正确的namenode吗？
yftpprvb1#
事实证明，snakebite并没有一个解决方案，而是有两个解决方案：autoconfigclient，它将从hadoop配置中获取其配置；haclient，它将获取两个namenodes。在我的情况下，我实际上是通过气流使用蛇咬。事实证明airflow的hdfshook足够聪明，可以处理一个连接中提供的两个namenode，然后将使用haclient。
1条答案
按热度按时间yftpprvb1#
事实证明，snakebite并没有一个解决方案，而是有两个解决方案：autoconfigclient，它将从hadoop配置中获取其配置；haclient，它将获取两个namenodes。
在我的情况下，我实际上是通过气流使用蛇咬。事实证明airflow的hdfshook足够聪明，可以处理一个连接中提供的两个namenode，然后将使用haclient。