在spark中完成流静态连接时,是否在每个微批处理期间刷新通过api(如read.csv)加载的静态资源

yfwxisqw  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(361)

在spark中完成流静态连接时,是否在每个微批处理期间刷新通过api加载的静态资源(如read.csv)。

  1. var a = sparkSession.read.csv(directory).as[A]
  2. var b = sparkSession.readStream... # kafka stream
  3. a.join(b, expr("some expre"), "inner") # Will the changes in directory made after the spark run started. be reflected in the join? Or is it completely static.

我之所以问这个问题是因为在某些情况下,我看到来自静态资源的数据也被刷新了。但无法解释为什么在运行期间刷新它。
我在文件里找不到任何关于这个的东西。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题