derby中的hive元存储与hive/warehouse中的有什么区别?

fquxozlt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(380)

这可能是一个非常基本的问题,请原谅我的无知。
我知道有两个metastore,Hive将使用在一个开箱即用(hive tar.bin extract)香草设置。在我的情况下,我有Hive0.14。
derby数据库中有一个--默认文件夹名为 metastore_db 在hdfs之外。
hdfs中还有一个在/user/hive/warehouse。
这两者有什么区别?

ih99xse1

ih99xse11#

在hive中,元存储由(1)元存储服务和(2)数据库组成。
metastore db是任何jdbc rdbms数据库,其中存储托管表和外部表的模式和分区详细信息。其他应用程序(如impala)可以使用它从中获取表和模式详细信息。顾名思义,它只存储元数据。
metastore服务-hive还运行一个名为metastore service的独立服务来管理metastore数据,例如,将配置单元表和分区的元数据存储在metastore db中,并通过metastore服务api向客户端(包括配置单元)提供对此信息的访问。
仓库-配置单元数据存储在hdfs中,通常位于/user/hive/warehouse下(或在hive-site.xml中指定为hive.metastore.warehouse.dir的任何路径)。

ijxebb2r

ijxebb2r2#

metastore是配置单元存储表的模式的地方,更多的数据如何在目录中引用仓库中模式表的数据。
仓库通常存储在hdfs中,元存储在关系数据库中,如derby、mysql或postgre。
metastore通常用于许多其他应用程序,如用于在仓库中发现表的impala。

相关问题