假设我有一张table:
db.table
我加载表并对其进行一些转换,最后尝试存储它
mytable = LOAD 'db.table' USING HCatLoader();
.
.
-- My transforms
.
.
STORE mytable_final INTO 'db.table' USING HCatStorer();
但代码抱怨我正在用现有数据写入一个表。
我已经查看了这个jira票证,它似乎处于非活动状态(我在store命令的几个地方尝试了使用force和overwrite)。
我也看过这篇文章,但作者是从一个位置加载并存储在另一个位置。如果我使用那篇文章中的内容,转换的结果就是没有数据。删除文件不是一个选项。我正在考虑暂时保存这些文件,但我不知道这是不是最好的选择。
我试图得到你在Hive中使用插入覆盖的行为。
1条答案
按热度按时间t3psigkw1#
我不熟悉
HCatLoader
以及HCatStorer
. 但是如果你LOAD
从和STORE
对于hdfs,pig提供了shell命令,使您能够在脚本中执行删除和移动操作。