如何从hdfs获取特定数据?

hk8txs48  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(438)

我需要解释一下下面的情景
scenario:-->假设在一个1000pb的文件中有世界上每个人的完整记录,我们将该文件转换成hdfs(假设反射系数=9BL大小=128mb),并将该文件分成n个块。
假设客户要求我们搜索一个具有一些独特约束(键)的特定人。假设此人的数据位于第n个块中。
我的问题是mapreduce函数在这种情况下如何工作?它是直接读取第n个块还是将第一个节点读取到第n个节点?

j8ag8udp

j8ag8udp1#

这个用例就是hbase的设计目的。

anhgbhbe

anhgbhbe2#

HDFS 是良好的顺序存取 HBase 有利于
单个随机选择
按键扫描范围
变量模式
因此,正如@winnienicklaus所建议的,如果您正在寻找随机访问,那么应该考虑将数据加载到hbase中。

相关问题