ApacheSpark—在hive中创建动态分区花费了太多时间

r7s23pms 于 2021-06-25 发布在 Hive

关注(0)|答案(0)|浏览(223)

我有一个ParquetHive表，其中有日期和小时作为分区列。我的spark作业每隔3小时运行一次。每次运行时，它都会创建动态分区。任务完成得很快，但是创建分区需要很多时间。有什么办法可以加快这一进程吗？

Hive apache-spark apache-spark-sql hiveql

来源：https://stackoverflow.com/questions/58660673/creating-dynamic-partitions-in-hive-is-taking-too-much-time

暂无答案！

目前还没有任何答案，快来回答吧！

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 4个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 4个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 4个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 4个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 4个月前