如何在spark on yarn中为spark ui创建安全过滤器

plicqrtu 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(463)

环境：aws emr，Yarn簇。
描述：我正在尝试使用java过滤器来保护对spark ui的访问，这是通过使用属性spark.ui.filters实现的；问题是，当spark在yarn模式下运行时，该属性总是被hadoop用过滤器org.apache.hadoop.yarn.server.webproxy.amfilter.amipfilter覆盖：

spark.ui.filters: org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter

这两个参数由haddoop自动传递

spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.PROXY_HOSTS: ip-x-x-x-226.eu-west-1.compute.internal

spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.PROXY_URI_BASES: http://ip-x-x-x-226.eu-west-1.compute.internal:20888/proxy/application_xxxxxxxxxxxxx_xxxx

关于如何添加java安全过滤器以使hadoop不覆盖它，或者如何从hadoop端配置安全性，有什么建议吗？
谢谢。

hadoop apache-spark apache-zeppelin

来源：https://stackoverflow.com/questions/48177044/how-to-create-security-filter-for-spark-ui-in-spark-on-yarn

1条答案

按热度按时间

pieyvz9o1#

这可以通过使用属性hadoop.http.authentication.type来指定包含验证逻辑的自定义java处理程序对象来解决。此类只需实现接口org.apache.hadoop.security.authentication.server.authenticationhandler。请参见：
https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/httpauthentication.html

赞(0）回复(0）举报 2021-05-29

我来回答

如何在spark on yarn中为spark ui创建安全过滤器

1条答案

相关问题

热门标签

最新问答