考虑到kerberos密码更改,如何实现长时间运行的flink作业?

fd3cxomn  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(345)

关于长时间运行的flink(或spark)作业的讨论忽略了关于如何避免定期滚动密码的失败的讨论。
密码滚动将使应用程序正在使用的任何keytab无效,并且一旦当前会话票证过期,作业将失败,这可能是密码更改后的24小时
我在flink中没有看到任何支持在密码滚动的情况下连续运行的东西。
应用程序将失败,必须重新安排从零开始。
在这个空间里有什么艺术可以避免这种失败?
例如,是否有允许我们定期刷新keytab的功能?有人这么做吗?

zd287kbt

zd287kbt1#

flink目前不支持任何类型的keytab刷新,到目前为止,人们对这个特性没有兴趣。keytab被认为是非常长寿的,很少改变。它类似于aws中用于获取db密码的角色。密码经常轮换,但角色几乎从不改变。
因此,目前没有办法,只能让整个应用程序失败并重新调度它。如果keytab更改经常出现,我会自动执行,并主动重新安排开关时间。对于更具体的提示,您可以添加如果您使用Yarn或k8s运行flink。
如果由于状态大小和sla而不能选择重新启动,您可以尝试实现自己的 SecurityModule 实现keytab刷新的。或者,您可以在jira上提交一个特性请求。一个拥有许多选票的特性可以更快地实现。

相关问题