我正在测试使用spark加载hdfs中存储的表需要多少时间(我使用的是javahivecontext)。我的表是22,4gb,分为215块,所以当我读到它时,我得到了215个任务。从结果来看,每个任务的读取速度为42mb/秒(每个任务读取107mb的速度为2,54秒)(在我的测试中,我使用一个带一个内核的执行器),但在我的主机上,磁盘速度不低于100mb/秒。为什么我会有这种差异?
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!