如何忽略配置单元中的顶点失败错误

fnx2tebb 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(280)

“我一直在” vertex failed “从配置单元表（其中包含json数据）插入时出错。我假设表中的数据可能已损坏。如果发生错误，我想忽略它。在Hive里我怎么能忽略呢？

1条答案

我个人在使用tez引擎时遇到过这个问题，特别是在处理大量数据时，在使用聚合的同时（最有可能使用distinct）。
当我通过将执行引擎更改为mr来重新运行同一个查询时，它对我起了作用

SET hive. execution.engine=MR;

如果您在查询中的任何地方使用distinct，只需选中删除它，然后检查是否有帮助。
谢谢