如何通过扩展metastoreeventlistener编写hive钩子来访问元数据级别的事件更改

n1bvdmb6  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(454)

我对获取hive元数据级别的事件感兴趣,这些事件通常存储在HiveServer2中,类似于基于事件的触发器,用于分区添加、删除、表添加和删除,等等,已经有一个抽象类metastoreeventlistener,但是我找不到一个可靠的实现来访问所有元数据相关的信息。你们能告诉我正确的方向吗?

z6psavjg

z6psavjg1#

最好的方法是创建自己的处理程序实用程序或框架,以围绕hcatalog包中的传统notificationlistener类(它扩展了metastoreeventlistener类)。
如果您决定只使用notificationlistener类,则可以使用以下内置侦听器:
分区(add onaddpartition、alter onAtterPartition、drop ondroppartition)
数据库(create oncreatedatabase,drop ondropdatabase)
表(create oncreatetable、alter onatertable、drop ondroptable)
此外,您还可以独立地研究hdfs包处理程序。或者,在更高级的方面,编写自己的独立框架,封装hcatalog和hdfs提供的默认事件处理程序。

相关问题