我正在尝试将一个pysparkDataframe写入hive表,该表也是使用下面的行创建的
parks_df.write.mode("overwrite").saveAsTable("fs.PARKS_TNTO")
当我试图打印Dataframe的计数时 parks_df.count()
我有1000张唱片。
但在最后一张table上 fs.PARKS_TNTO
,我有980张唱片。因此有20条记录被删除了。如何解决这个问题。另外,如何捕获正在删除的记录。最后一个表上没有分区 fs.PARKS_TNTO
.
暂无答案!
目前还没有任何答案,快来回答吧!