在spark的工作中,我试图覆盖结构化流媒体的每个微批中的一个表
batchDF.write.mode(SaveMode.Overwrite).saveAsTable("mytable")
它产生了以下错误。
Can not create the managed table('`mytable`'). The associated location('file:/home/ec2-user/environment/spark/spark-local/spark-warehouse/mytable') already exists.;
我知道在spark2.xx中,解决这个问题的方法是添加以下选项。
spark.conf.set("spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation","true")
它在spark 2.xx中运行良好。但是,spark 3.0.0中删除了此选项。那么,我们应该如何在spark 3.0.0中解决这个问题呢?
谢谢!
暂无答案!
目前还没有任何答案,快来回答吧!