pyspark dataframe在写入配置单元表时丢弃记录

oxiaedzo  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(192)

我正在尝试将一个pysparkDataframe写入hive表,该表也是使用下面的行创建的

parks_df.write.mode("overwrite").saveAsTable("fs.PARKS_TNTO")

当我试图打印Dataframe的计数时 parks_df.count() 我有1000张唱片。
但在最后一张table上 fs.PARKS_TNTO ,我有980张唱片。因此有20条记录被删除了。如何解决这个问题。另外,如何捕获正在删除的记录。最后一个表上没有分区 fs.PARKS_TNTO .

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题