我试图使用HiveDataWarehouseConnector(hwc)将sparkDataframe写入HiveAcid表,但它挂起了,没有显示任何错误。
我在hdp3.x上使用spark2.3和hive3.1。只有当我试图在现有的配置单元表中写入数据时,才会发生这种情况。并观察了同一张表上的独占锁。 scala> df.write.format(HIVE_WAREHOUSE_CONNECTOR).mode("Overwrite").option("database", "default").option("table", "MyTable").save()
日志:在第29阶段后悬挂:
19/10/11 19:28:29 WARN TaskSetManager: Stage 26 contains a task of very large size (474 KB). The maximum recommended task size is 100 KB.
[Stage 29:============> (89 + 2) / 403]19/10/11 19:28:37 WARN TaskSetManager: Stage 29 contains a task of very large size (477 KB). The maximum recommended task size is 100 KB.```
暂无答案!
目前还没有任何答案,快来回答吧!