下面的代码引用自spark官方网站,展示了如何使用foreachbatch将Dataframe保存到多个位置。
但是foreachbatch是否是一个动作操作符?(foreach是一个动作操作符)。似乎“save”操作是由write操作符触发的。
streamingDF.writeStream.foreachBatch { (batchDF: DataFrame, batchId: Long) =>
batchDF.persist()
batchDF.write.format(...).save(...) // location 1
batchDF.write.format(...).save(...) // location 2
batchDF.unpersist()
}
暂无答案!
目前还没有任何答案,快来回答吧!