我正在我的项目中使用spark和hive。在spark作业中，我正在执行具有分区列的insert overwrite外部表。spark作业运行良好，没有任何错误，我可以在web ui中看到，该作业的所有任务都已完成。
现在是痛苦的部分，我可以在日志中看到，spark代码处理已经完成，现在hive正在尝试将hdfs文件从staging/temp区域移动到hive表的实际表目录。这要花很长时间。如果您能提供任何帮助，我们将不胜感激？如果你想知道更多的细节，请告诉我
注意：但是，当我直接从配置单元脚本运行相同的插入覆盖逻辑时，它会在几分钟内完成(执行引擎是tez）。