hive表和netezza表之间的匹配记录

kxkpmulp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(395)

这是我的第一个问题,如果你们能帮助我,我将非常感激。
我运行了一个sqoop导入来将表从netezza传输到hive。现在,我必须将netezza表中的记录与配置单元表中的记录进行匹配,以检查所有记录是否已成功导入配置单元。我需要确保一个表中的每个记录都与另一个表中的记录匹配,并找出不匹配的记录(如果有的话)。我的项目负责人建议我使用脚本过滤不匹配的记录并插入到新表中(按唯一键联接两个表,并使用“where”筛选不匹配的数据(包括记录)。问题是我对hadoop还不熟悉,不知道该怎么做。
有人能帮忙吗?

qgelzfjb

qgelzfjb1#

首先,您可以运行select查询来计算导入的配置单元表上的rec数。

select count(*) from hive_table;

如果netezza表和hive表之间的计数不匹配,则需要首先检查sqoop导入期间生成的日志。这将使您了解REC未加载的原因。

相关问题