我在回答我自己。我找到了一个解决方案：我用（date，input\u file\u name）划分了我的表（注意，我可以通过在hive中选择input\u file\u name来获取输入的\u file\u name）。一旦我这样做了，在运行etl之前，我可以向hive发送alter table drop if exists分区（文件名=…），这样，如果这个输入文件已经发送到orc表，那么包含输入数据的文件夹就会被删除。
谢谢大家的帮助。
干杯，奥兰多

如果目标表中的数据量不是太大，我建议

INSERT INTO TABLE trg
SELECT ... FROM src
WHERE NOT EXISTS
 (SELECT 1
  FROM trg x
  WHERE x.key =src.key
    AND <<additional filter on target to reduce data volume>> 
 )

hive将自动将相关子查询重写为mapjoin，将目标表中的所有候选键提取为javahashmap，并动态过滤源行。只要hashmap可以容纳ram中可用的mappers堆大小（检查您的默认conf文件，增加一个 set 命令）性能将是次优的，但您可以非常确定不会有任何重复。
在您的实际用例中，您不必检查每个键，只需检查一个“批id”，更准确地说是原始文件名；我以前的工作方式是

INSERT INTO TABLE trg
SELECT ..., INPUT__FILE__NAME as original_file_name
FROM src
WHERE NOT EXISTS
 (SELECT DISTINCT 1
  FROM trg x
  WHERE x.INPUT__FILE__NAME =src.original_file_name
    AND <<additional filter on target to reduce data volume>> 
 )

这意味着您的目标表中有一个额外的列，但是由于orc是一种列格式，所以重要的是不同值的数量——这样开销就会保持在较低的水平。
注意子查询中显式的“distinct”；一个成熟的dbms优化器会在执行时自动执行，但是hive没有（还没有），所以您必须强制执行它。注意“1”只是一个伪值，因为“select”语义是必需的；同样，一个成熟的dbms会允许一个虚拟的“null”，但是有些版本的hive会崩溃（例如v0.14中的tez），所以“1”或“a”更安全。
参考文献：
https://cwiki.apache.org/confluence/display/hive/languagemanual+subqueries#languagemanualsubqueries-WHERE子句中的子查询
https://cwiki.apache.org/confluence/display/hive/languagemanual+virtualcolumns