如何将HDFS设置为flink的状态后端

bvuwiixz  于 2022-12-09  发布在  HDFS
关注(0)|答案(2)|浏览(198)

我想将flink存储存储在HDFS中,以便在崩溃后可以从HDFS恢复flink状态。我计划每60秒将状态写入HDFS。如何实现?这是我需要遵循的配置吗?https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/state_backends.html#setting-default-state-backend
在哪里指定检查点间隔?任何链接或示例代码都很有用

rpppsulh

rpppsulh1#

选择存储检查点的位置(例如HDFS)与决定使用哪个状态后端来管理工作状态(可以是堆上的,也可以是由RocksDB库管理的本地文件中的)是分开的。
这两个概念在Flink 1.12中被清晰地分开了。在早期版本的Flink中,这两个概念看起来比实际上更紧密相关,因为filesystem和rocksdb状态后端构造器将文件URI作为参数,指定检查点应该存储在哪里。
管理所有这些的最佳方法是在代码中不考虑这些,而在flink-conf.yaml中指定所需的配置,例如:

state.backend: filesystem
state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
execution.checkpointing.interval: 10s

相关问题