我有一个数据管道,可以复制按日期划分的数据。有时一天没有数据。数据管道创建一个0字节的csv文件。当我为此日期运行雅典娜查询时,它将失败,而不是返回0个结果。我得到的错误是hive\u cursor\u error:输入流意外结束我怎样才能避免这个。我知道一种方法是永远不要用空数据创建文件,但我永远也不知道如何在数据管道中这样做。在雅典娜有什么我可以调整的,这样它就不会失败吗?
zphenhs41#
在数据被数据管道复制后,尝试运行下面的命令。
MSCK REPAIR TABLE table_name
这将恢复\更新雅典娜目录的分区。它可能是数据管道中的最后一步。在将其作为管道的一部分之前,请尝试在athena查询控制台中执行它,并验证它是否解决了问题。
1条答案
按热度按时间zphenhs41#
在数据被数据管道复制后,尝试运行下面的命令。
这将恢复\更新雅典娜目录的分区。它可能是数据管道中的最后一步。在将其作为管道的一部分之前,请尝试在athena查询控制台中执行它,并验证它是否解决了问题。