我知道apacheapex是在hadoop和yarn上运行的。它是否利用hdfs进行持久性和复制以防止数据丢失?还是有自己的?
9vw9lbht1#
apacheapex使用操作符状态检查点进行容错。apex使用hdfs来编写这些检查点以进行恢复。但是,检查点存储是可配置的。apex还有一个到apachegegeode的checkpoint的实现。apex还使用hdfs上传工件,比如应用程序包,其中包含启动应用程序所需的应用程序jar、其依赖项和配置等。
t5zmwmid2#
apacheapex没有自己的文件系统。默认情况下,使用apex编写的流应用程序将使用hdfs进行检查点、持久性和保存特定于应用程序的数据。
2条答案
按热度按时间9vw9lbht1#
apacheapex使用操作符状态检查点进行容错。apex使用hdfs来编写这些检查点以进行恢复。但是,检查点存储是可配置的。apex还有一个到apachegegeode的checkpoint的实现。apex还使用hdfs上传工件,比如应用程序包,其中包含启动应用程序所需的应用程序jar、其依赖项和配置等。
t5zmwmid2#
apacheapex没有自己的文件系统。默认情况下,使用apex编写的流应用程序将使用hdfs进行检查点、持久性和保存特定于应用程序的数据。