无法从spark最终Dataframe将数据写入配置单元acid表

js4nwp54  于 2021-06-25  发布在  Hive
关注(0)|答案(0)|浏览(267)

我试图使用HiveDataWarehouseConnector(hwc)将sparkDataframe写入HiveAcid表,但它挂起了,没有显示任何错误。
我在hdp3.x上使用spark2.3和hive3.1。只有当我试图在现有的配置单元表中写入数据时,才会发生这种情况。并观察了同一张表上的独占锁。 scala> df.write.format(HIVE_WAREHOUSE_CONNECTOR).mode("Overwrite").option("database", "default").option("table", "MyTable").save() 日志:在第29阶段后悬挂:

19/10/11 19:28:29 WARN TaskSetManager: Stage 26 contains a task of very large size (474 KB). The maximum recommended task size is 100 KB.
[Stage 29:============>                                          (89 + 2) / 403]19/10/11 19:28:37 WARN TaskSetManager: Stage 29 contains a task of very large size (477 KB). The maximum recommended task size is 100 KB.```

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题