apacheapex依赖hdfs还是有自己的文件系统?

cyej8jka  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(413)

我知道apacheapex是在hadoop和yarn上运行的。它是否利用hdfs进行持久性和复制以防止数据丢失?还是有自己的?

9vw9lbht

9vw9lbht1#

apacheapex使用操作符状态检查点进行容错。apex使用hdfs来编写这些检查点以进行恢复。但是,检查点存储是可配置的。apex还有一个到apachegegeode的checkpoint的实现。apex还使用hdfs上传工件,比如应用程序包,其中包含启动应用程序所需的应用程序jar、其依赖项和配置等。

t5zmwmid

t5zmwmid2#

apacheapex没有自己的文件系统。默认情况下,使用apex编写的流应用程序将使用hdfs进行检查点、持久性和保存特定于应用程序的数据。

相关问题