我对pyspark sql模块有问题。我创建了一个分区表，并在多次转换后运行spark job，将其作为parquet文件保存到配置单元表中。
数据加载成功并可以查询数据。但是当我试图从spark查询相同的数据时，它说文件路径不存在。
java.io.filenotfoundexception:文件hdfs://localhost：8020/data/path/of/partition partition=15f244ee8f48a2f98539d9d319d49d9c不存在
上述错误中提到的分区是以前的分区列数据，现在甚至不存在。
我已经运行了spark作业，它填充了一个新的分区值。我寻找解决方案，但我所能看到的是人们说spark版本1.4没有问题，1.6有问题
有人能给我建议这个问题的解决办法吗。