在spark中完成流静态连接时,是否在每个微批处理期间刷新通过api加载的静态资源(如read.csv)。
var a = sparkSession.read.csv(directory).as[A]
var b = sparkSession.readStream... # kafka stream
a.join(b, expr("some expre"), "inner") # Will the changes in directory made after the spark run started. be reflected in the join? Or is it completely static.
我之所以问这个问题是因为在某些情况下,我看到来自静态资源的数据也被刷新了。但无法解释为什么在运行期间刷新它。
我在文件里找不到任何关于这个的东西。
暂无答案!
目前还没有任何答案,快来回答吧!