我正在尝试实现spark流式检查点，使用GCS作为检查点的存储。启用检查点会导致作业的性能下降。只是想如果检查点可以在sql或其他存储上完成，这将比写入HDFS或GCS更快。
g6ll5ycj1#
Spark 3.x（和之前的版本）不提供直接对SQL数据库进行检查点操作的原生支持，您必须对文件系统或分布式文件系统（如HDFS/GCS/S3）进行检查点操作。话虽如此，您可以将自己的自定义检查点机制写入（然后检索）到不同的目的地。
1条答案
按热度按时间g6ll5ycj1#
Spark 3.x（和之前的版本）不提供直接对SQL数据库进行检查点操作的原生支持，您必须对文件系统或分布式文件系统（如HDFS/GCS/S3）进行检查点操作。
话虽如此，您可以将自己的自定义检查点机制写入（然后检索）到不同的目的地。