如何在nfs文件系统中存储apache flink检查点

xesrikrc  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(495)

我使用ApacheFlink1.10.0从rabbitmq中提取数据流,现在使用内存中的默认检查点配置。现在要在任务管理器重新启动时进行恢复,我需要将状态和检查点存储在文件系统中,所有演示都应该使用“hdfs://namenode:4000/…“,但现在我没有hdfs集群,我的apache flink正在kubernetes集群中运行,如何在文件系统中存储我的检查点?
我阅读了apache flink的文档并告诉我它支持:
一种持久(或持久)的数据源,可以在一定时间内重放记录。例如,持久消息队列(例如,apache kafka、rabbitmq、amazon kinesis、google pubsub)或文件系统(例如,hdfs、s3、gfs、nfs、ceph……)。
状态的持久存储,通常是分布式文件系统(如hdfs、s3、gfs、nfs、ceph等)
如何配置flink以使用nfs存储检查点和状态?我从互联网上搜索,没有找到关于这个解决方案的故事。

tp5buhyn

tp5buhyn1#

要使用nfs对flink进行检查点设置,应该使用 file: 可以从群集中的每个节点访问的uri(作业管理器和所有任务管理器需要使用相同的uri进行访问)。
因此,例如,您可以在 /data/flink/checkpoints 在每台机器上,然后指定

state.checkpoints.dir: file:///data/flink/checkpoints

相关问题