我正在尝试将sparkDataframe加载到hive中,如下所示: df.repartition(col(col_nme)).write.mode("overwrite").format("ORC").option("compression","snappy").insertInto(hive_tbl)
pyspark中的同一df在2分钟内加载,但scala在15分钟内加载。
有什么建议或线索吗?
我正在尝试将sparkDataframe加载到hive中,如下所示: df.repartition(col(col_nme)).write.mode("overwrite").format("ORC").option("compression","snappy").insertInto(hive_tbl)
pyspark中的同一df在2分钟内加载,但scala在15分钟内加载。
有什么建议或线索吗?
暂无答案!
目前还没有任何答案,快来回答吧!