hbase集成中,如何在hive和hbase之间移动或反映数据?

zpgglvta  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(361)

据我所知 HIVE 以及 HBASE 正在使用 HDFS 存储数据。当我们 integrate HIVE and HBASE ----
如何在它们之间移动数据?或者是数据不会移动,只是反映了什么?我想知道两种情况。 One: 表1在配置单元中有数据及其所在的位置,表2在hbase中有数据及其所在的位置。现在集成发生了(这个场景是否可能?)。
数据移动是如何发生的?是从hbase到hive还是从hive到hbase。 Two: 设置为 scenario One . 现在是新插入的记录。他们会去哪里?
我是hbase的新手,对通过示例详细了解数据移动很感兴趣。
如果需要,请改进这个问题。提前谢谢。

gcxthw6b

gcxthw6b1#

hdfs是一种分布式文件系统,非常适合存储大文件,但不提供快速的单个记录查找。
hive只是一个类似sql的抽象,用于与hdfs中的数据交互。
hbase也构建在hdfs之上。它为大型表提供快速读写。hbase通过将数据存储在hdfs上存在的索引“storefiles”中以进行高速查找来实现这一点。
所以在这两种情况下,数据都驻留在hdfs中。这就是“他们要去的地方”
至于它们如何工作的细节,这是一个很大的主题,您必须熟悉诸如配置单元元存储和存储处理程序以及hbase api之类的主题。我相信本教程(第1部分和第2部分)可以帮助您。

相关问题