我想从应用的Angular 来理解hbase的mapreduce,需要一些真实的it用例来更好地理解编写这些作业的高效用例。如果有任何文档或示例的链接可以解释真实的用例,请分享。
8cdiaqws1#
请查看1中给出的用例。在这里。2这里有一个小参考-30.3。这里可能是一个端到端的例子最后,这完全取决于您对每个概念图的理解,减少hbase,并根据您在项目中的需要使用它。同样的任务可以通过map reduce或不通过map reduce来完成。快乐编码
yjghlzjz2#
我可以根据我的用例给出一些例子。如果您已经将数据存储在hbase中,那么可以编写一个java程序,扫描一个表并执行一些操作,然后将输出写入hbase或其他地方。或者你也可以使用mapreduce来做同样的事情。不同的是,mapreduce将在数据所在的位置运行,而网络流量仅用于结果数据。我们有每小时的工作来计算KPI的总和和平均值,对于这个任务来说,输入数据是巨大的,但输出数据是微小的。如果我没有使用mapreduce,我需要在18gb的网络上移动一小时的数据。但是mapreduce的输出只有1mb,我可以将它写入hbase、文件或其他地方。mapreduce还为您提供了并行任务执行能力,您可以在java中使用这种能力,但原因是:)请记住,yarn根据hbase表的拆分计数创建Map任务。因此,如果您需要更多的Map任务,请拆分您的表。如果您已经将数据存储在hadoophdfs中,那么幸运的是,从hdfs读取mapreduce要比从hbase读取快得多。如果需要,还可以将mapreduce输出写入hbase。
2条答案
按热度按时间8cdiaqws1#
请查看1中给出的用例。在这里。2这里有一个小参考-30.3。这里可能是一个端到端的例子
最后,这完全取决于您对每个概念图的理解,减少hbase,并根据您在项目中的需要使用它。同样的任务可以通过map reduce或不通过map reduce来完成。快乐编码
yjghlzjz2#
我可以根据我的用例给出一些例子。如果您已经将数据存储在hbase中,那么可以编写一个java程序,扫描一个表并执行一些操作,然后将输出写入hbase或其他地方。或者你也可以使用mapreduce来做同样的事情。不同的是,mapreduce将在数据所在的位置运行,而网络流量仅用于结果数据。我们有每小时的工作来计算KPI的总和和平均值,对于这个任务来说,输入数据是巨大的,但输出数据是微小的。如果我没有使用mapreduce,我需要在18gb的网络上移动一小时的数据。但是mapreduce的输出只有1mb,我可以将它写入hbase、文件或其他地方。
mapreduce还为您提供了并行任务执行能力,您可以在java中使用这种能力,但原因是:)
请记住,yarn根据hbase表的拆分计数创建Map任务。因此,如果您需要更多的Map任务,请拆分您的表。
如果您已经将数据存储在hadoophdfs中,那么幸运的是,从hdfs读取mapreduce要比从hbase读取快得多。如果需要,还可以将mapreduce输出写入hbase。