spark提交的容错/错误处理

a2mppw5e  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(195)

我有一个spark作业,正在使用以下命令运行:

sudo ./bin/spark-submit --jars lib/spark-streaming-kafka-assembly_2.10-1.4.1.jar \
--packages TargetHolding:pyspark-cassandra:0.2.4 \
examples/src/main/python/final/kafka-sparkstreaming-cassandra.py

然而,有时工作失败后,由于某种原因,它运行了连续两天,说,我不得不手动启动它之后。
这对于我来说是非常低效的,因为我不断地从Kafka读取数据并将其保存到Cassandra。
spark对于这种容错有什么特点?也许spark submit可以再次推出?也许有更聪明的东西?我试图谷歌这个,但有很少的信息有关这一点。
p、 我用的是 spark 1.4.1 .
我希望收到一些好主意!
谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题