我可以使用flink rocksdb状态后端和本地文件系统吗?

0mkxixxg  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(494)

我正在探索使用flink rocksdb状态后端,文档似乎暗示我可以使用常规文件系统,例如: file:///data/flink/checkpoints ,但代码javadoc在这里只提到hdfs或s3选项。
我想知道是否有可能使用与flink rocksdb后端本地文件系统,谢谢!
flink文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-RocksDBState后端
Flink代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/rocksdbstatebackend.java#l175

beq87vna

beq87vna1#

不,你不应该那样做!
使用此路径可以配置flink将检查点写入的目录。检查点是应用程序状态的副本,用于在出现故障(如计算机故障)时恢复应用程序状态。该路径必须指向一个持久的远程存储,以便在进程被终止或机器终止时能够读取检查点。如果将检查点写入失败机器的本地文件系统,则无法恢复作业和恢复状态。
但是,如果本地路径是nfs(或任何其他远程存储)的装载点,也可以从其他机器装载,则可以将检查点写入本地路径。

相关问题