我已经通过spark程序从配置单元表中加载了记录,数据成功地加载到hdfs中,但记录没有在配置单元表中提取。
请找到下面的压缩技术,我们正在使用。
sprark.write
.option(Parquet.compress,SNAPPY)
.format(parquet)
.mode(SaveMode.Append)
.save(s${tablePath}/${dbName}.${targetTableName})
请给我这个问题的解决办法。
1条答案
按热度按时间csbfibhn1#
请试试这个。df.repartition(1).write.format(“parquet”).insertinto('dbname.tablename',overwrite=true)