何时在hbase中使用mapreduce?

vwhgwdsa  于 2021-06-09  发布在  Hbase
关注(0)|答案(2)|浏览(669)

我想从应用的Angular 来理解hbase的mapreduce,需要一些真实的it用例来更好地理解编写这些作业的高效用例。
如果有任何文档或示例的链接可以解释真实的用例,请分享。

8cdiaqws

8cdiaqws1#

请查看1中给出的用例。在这里。2这里有一个小参考-30.3。这里可能是一个端到端的例子
最后,这完全取决于您对每个概念图的理解,减少hbase,并根据您在项目中的需要使用它。同样的任务可以通过map reduce或不通过map reduce来完成。快乐编码

yjghlzjz

yjghlzjz2#

我可以根据我的用例给出一些例子。如果您已经将数据存储在hbase中,那么可以编写一个java程序,扫描一个表并执行一些操作,然后将输出写入hbase或其他地方。或者你也可以使用mapreduce来做同样的事情。不同的是,mapreduce将在数据所在的位置运行,而网络流量仅用于结果数据。我们有每小时的工作来计算KPI的总和和平均值,对于这个任务来说,输入数据是巨大的,但输出数据是微小的。如果我没有使用mapreduce,我需要在18gb的网络上移动一小时的数据。但是mapreduce的输出只有1mb,我可以将它写入hbase、文件或其他地方。
mapreduce还为您提供了并行任务执行能力,您可以在java中使用这种能力,但原因是:)
请记住,yarn根据hbase表的拆分计数创建Map任务。因此,如果您需要更多的Map任务,请拆分您的表。
如果您已经将数据存储在hadoophdfs中,那么幸运的是,从hdfs读取mapreduce要比从hbase读取快得多。如果需要,还可以将mapreduce输出写入hbase。

相关问题