我有一个配置了hive、hbase和yarn的标准hdp2.2环境。我使用hive（/w hbase）对一个大约有1000万行的表执行了一个简单的计数操作，结果是从yarn中消耗了10gb的内存。如何减少内存消耗？为什么仅仅计算行数就需要这么多内存？
2uluyalo1#
简单的计数操作涉及后端的map reduce作业。在你的案例中，这涉及到一千万行。看看这里有没有更好的解释。好吧，这只是为了在后台和执行时发生的事情，而不是关于内存需求的问题。至少，它会给你一个寻找地点的机会。这也没有什么加速的方法。快乐编码
1条答案
按热度按时间2uluyalo1#
简单的计数操作涉及后端的map reduce作业。在你的案例中，这涉及到一千万行。看看这里有没有更好的解释。好吧，这只是为了在后台和执行时发生的事情，而不是关于内存需求的问题。至少，它会给你一个寻找地点的机会。这也没有什么加速的方法。快乐编码