为什么一个rdd count任务需要这么多时间

cl25kdpy  于 2021-06-10  发布在  Hbase
关注(0)|答案(0)|浏览(207)

我使用newapihadooprdd()方法将hbase记录加载到rdd并执行简单的计数工作。
然而,这项计数工作花费的时间远远超出我的想象。我检查了代码,我想可能是在hbase中,一个列族的数据太多,当我将记录加载到rdd时,太多的数据可能会导致执行器内存溢出。
有没有可能是这个原因导致了这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题