apache配置单元:比较两个表之间的数据并生成报告

bzzcjhmw  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(277)

我在同一个集群中有两个具有相似模式的表。我想比较两个表之间的数据并生成一个报告。只有在hql中才有可能吗?你有什么更好的建议吗?
谢谢。

57hvy0tb

57hvy0tb1#

您可以看看这个python程序,它处理配置单元表的这种比较(比较所有行和列),并在网页中显示可能出现的差异:https://github.com/bolcom/hive_compared_bq
它目前没有给你一个“完整的报告”,但它只会指出一些发现的差异(这个工具更多的是在开发周期中,检查代码是否正确),但我想你可以为此扩展程序的最后一部分。

相关问题